[論文レビュー] Descriptor Matching with Convolutional Neural Networks: a Comparison to SIFT

Philipp Fischer, Alexey Dosovitskiy+1 more|arXiv (Cornell University)|May 22, 2014

Advanced Image and Video Retrieval Techniques参考文献 15被引用数 247

ひとこと要約

この論文は、教師あり（ImageNetで訓練された）および自己教師ありネットワークからの深層畳み込みニューラルネットワーク（CNN）ベースの記述子を、SIFTと比較して記述子マッチングの性能を評価している。対応関係の推定タスクにおいてSIFTが優位を占めてきたが、複数のデータセットにおいてもCNN特徴量はSIFTをはるかに上回るマッチング精度を示しており、学習された特徴量が分類以外のタスクにも良好に一般化されることを示している。

ABSTRACT

Latest results indicate that features learned via convolutional neural networks outperform previous descriptors on classification tasks by a large margin. It has been shown that these networks still work well when they are applied to datasets or recognition tasks different from those they were trained on. However, descriptors like SIFT are not only used in recognition but also for many correspondence problems that rely on descriptor matching. In this paper we compare features from various layers of convolutional neural nets to standard SIFT descriptors. We consider a network that was trained on ImageNet and another one that was trained without supervision. Surprisingly, convolutional neural networks clearly outperform SIFT on descriptor matching. This paper has been merged with arXiv:1406.6909

研究の動機と目的

• 大規模データセットで訓練された深層CNN特徴量が、記述子マッチングタスクにおいてSIFTを上回るかを評価すること。
• 教師ありおよび自己教師ありCNNの対応関係問題への性能を調査すること。
• 分類タスクで学習された特徴量が、SIFTが伝統的に優れているマッチングタスクへ効果的に一般化されるかを特定すること。
• 視点の変化や照明の変化といったさまざまな条件下で、CNNベースの記述子とSIFTの耐性および精度を比較すること。

提案手法

• ImageNetで訓練された深層CNNを特徴抽出用に使用し、複数の層からの活性化を記述子として抽出した。
• 訓練済みネットワークの畳み込み層および全結合層からの特徴量を抽出した。
• ラベルなしデータを用いて特徴量を学習する自己教師あり学習アプローチを採用し、対照的学習や類似の目的関数を用いた。
• 標準的な記述子マッチングパイプラインを適用：特徴量比較にはL2距離またはコサイン類似度を用い、その後に近傍探索によるマッチングを実施した。
• 幾何的変換やごみだらけのシーンを含む、マッチング用ベンチマークデータセットを用いて性能を評価した。
• 複数の層および学習手法の下で、SIFTとCNNベースの記述子のマッチング精度および再現性を比較した。

実験結果

リサーチクエスチョン

• RQ1 ImageNetで訓練されたCNNベースの記述子は、記述子マッチングタスクにおいてSIFTを上回るか？
• RQ2 自己教師ありCNN特徴量は、記述子マッチングにおいてSIFTの性能に達するか、あるいはそれを上回るか？
• RQ3 畳み込み層と全結合層の異なるネットワーク層からの特徴量は、マッチング精度においてどのように比較されるか？
• RQ4 CNN特徴量は、SIFTが優位に機能していた分類タスクからマッチングタスクへどの程度一般化されるか？

主な発見

• 複数のベンチマークデータセットにおいて、CNNベースの記述子はSIFTをはるかに上回るマッチング精度を示した。
• 教師ありおよび自己教師ありCNNの両方の特徴量が、マッチングデータへの微調整なしでもSIFTを上回る高いマッチング精度を達成した。
• 性能向上はネットワークの異なる層にわたり一貫しており、より上位の層では幾何的および光度的変化に対して強い不変性を示した。
• 自己教師ありCNN特徴量は、教師ありの対応する特徴量とほぼ同等の性能を達成しており、大規模な教師なし事前学習が頑健な記述子を生成することを示している。
• 結果から、深層特徴量が分類タスクを超えて、記述子マッチングのような低レベルのビジョンタスクへも良好に一般化されることを示している。