[論文レビュー] Do Convnets Learn Correspondence?

Jonathan Long, Ning Zhang+1 more|arXiv (Cornell University)|Nov 4, 2014

Advanced Neural Network Applications参考文献 35被引用数 161

ひとこと要約

この論文は、大きな受容 field と弱い教師信号にもかかわらず、畳み込みニューラルネットワーク（ConvNets）が効果的な対応特徴を学習するかを調査している。事前学習済み ImageNet モデルからの特徴を用いて、著者らは ConvNet の活性化が微細な局所化を可能にすることを示し、PASCAL VOC 2011 におけるキーポイント予測において SIFT を上回ることを確認した。conv5 特徴と事前分布を組み合わせた場合、平均 PCK 正答率は 42.5% に達し、SIFT の 28.4% より顕著に上回った。

ABSTRACT

Convolutional neural nets (convnets) trained from massive labeled datasets have substantially improved the state-of-the-art in image classification and object detection. However, visual understanding requires establishing correspondence on a finer level than object category. Given their large pooling regions and training from whole-image labels, it is not clear that convnets derive their success from an accurate correspondence model which could be used for precise localization. In this paper, we study the effectiveness of convnet activation features for tasks requiring correspondence. We present evidence that convnet features localize at a much finer scale than their receptive field sizes, that they can be used to perform intraclass alignment as well as conventional hand-engineered features, and that they outperform conventional features in keypoint prediction on objects from PASCAL VOC 2011.

研究の動機と目的

• 画像分類のための訓練により、畳み込みニューラルネットワーク（ConvNets）がピクセルレベルでの正確な対応特徴を学習できるかどうかを検証すること。
• ConvNet 特徴がクラス内アライメントおよびキーポイント予測タスクにおいてどれほど有効であるかを評価すること。
• 対応タスクにおいて、学習された ConvNet 特徴と手作業で設計された SIFT 特徴の性能を比較すること。
• ConvNets の大きな受容 field が、微細な空間的対応をモデル化する能力を低下させるかどうかを調査すること。
• エンドツーエンドで学習された特徴が、一般的なオブジェクトカテゴリにおいて、従来の特徴を上回る局所化精度を達成できることを示すこと。

提案手法

• 主な表現として、事前学習済み ImageNet ConvNet（Caffe リファレンスモデル）の conv5 層からの特徴を抽出した。
• 特徴マップからの非パrametricな画像再構成を実施し、有効な受容 field と空間的特異性を可視化した。
• SIFT フローに深層特徴を適用し、同じクラス内での画像アライメントを実施した。対応関係には、pool5 特徴におけるコサイン類似度を用いた。
• キーポイント検出のため、ハードネガティブマイニングを用いた線形 SVM を訓練した。正例として、3×3 の受容 field 近傍の特徴を用いた。
• pool5 特徴空間における最近傍マッチングに基づく球面ガウス事前分布を、局所化精度向上のためのスコア融合に組み込んだ。
• 交差検証により最適化されたトレードオフパラメータ η=0.1 を用いて、検出器スコアと事前分布スコアを融合し、最終予測はスコアが最も高い候補を選んだ。

実験結果

リサーチクエスチョン

• RQ1 分類用に訓練された ConvNet 特徴が、微細な空間的対応を要するタスクにおいて、手作業で設計された特徴と同等の性能を示せるか？
• RQ2 ConvNets における大きな受容 field が、正確な空間的対応をモデル化する能力をどの程度制限するか？
• RQ3 事前学習済み ConvNet の深層部特徴が、オブジェクトの異なるインスタンス間で正確なクラス内アライメントを可能にするか？
• RQ4 単一のネットワークアーキテクチャから学習された特徴が、一般的なオブジェクトカテゴリのキーポイント予測において SIFT を上回れるか？
• RQ5 最近傍マッチングによる事前知識の統合が、ConvNet 特徴を用いたキーポイント局所化の性能をどの程度向上させるか？

主な発見

• conv5 層の特徴は、その受容 field のサイズよりも細かく局所化できており、高い空間的特異性を示している。
• 著者らは、conv5 特徴が従来の手作業で設計された特徴と同等にクラス内アライメントを実現できることを実証した。
• PASCAL VOC 2011 におけるキーポイント予測では、conv5 特徴が SIFT を上回り、事前分布を組み合わせた場合の平均 PCK 正答率は 42.5% を達成した。
• 球面ガウス事前分布の追加により、SIFT および conv5 特徴の両方の性能が向上し、conv5+prior は平均 PCK 正答率 42.5% を達成した。
• 本研究の結果は、深層特徴を用いた PASCAL VOC 2011 データセットにおけるキーポイント予測性能の報告として初めてのものである。
• 可視化結果から、conv5 特徴は特に馬やポット入り植物といった挑戦的なカテゴリにおいて、SIFT よりも正確で一貫性のあるキーポイント予測を生成することが分かった。