[論文レビュー] Learning Covariant Feature Detectors

Karel Lenc, Andrea Vedaldi|arXiv (Cornell University)|May 4, 2016

Advanced Image and Video Retrieval Techniques参考文献 48被引用数 19

ひとこと要約

この論文は、深層畳み込みニューラルネットワークを用いて回帰問題として検出を定式化することにより、共変特徴検出器を学習するための新しい機械学習フレームワークを導入する。共変性制約を提案することで、安定した視覚的アンカーのエンドツーエンド学習が可能となり、標準ベンチマーク上での再現性とマッチング精度において、従来の手作業で設計された検出器を上回る性能を発揮する。

ABSTRACT

Local covariant feature detection, namely the problem of extracting viewpoint invariant features from images, has so far largely resisted the application of machine learning techniques. In this paper, we propose the first fully general formulation for learning local covariant feature detectors. We propose to cast detection as a regression problem, enabling the use of powerful regressors such as deep neural networks. We then derive a covariance constraint that can be used to automatically learn which visual structures provide stable anchors for local feature detection. We support these ideas theoretically, proposing a novel analysis of local features in term of geometric transformations, and we show that all common and many uncommon detectors can be derived in this framework. Finally, we present empirical results on translation and rotation covariant detectors on standard feature benchmarks, showing the power and flexibility of the framework.

研究の動機と目的

• 機械学習を用いた視点不変な局所的特徴検出器を学習するという長年の課題に取り組む。
• 事前に定義されたアンカーの種別を必要とせず、検出器とその検出ターゲット（アンカー）を同時に学習できる一般化された定式化を開発する。
• 検出を回帰問題に再定式化することで、特徴検出に強力な回帰器（例えば深層畳み込みニューラルネットワーク）を活用できるようにする。
• 幾何的変換と群論を用いて共変検出器の理論的基盤を提供する。
• 平行移動、回転、アフィン変換不変検出タスクにおけるこのフレームワークの実証的妥当性を検証する。

提案手法

• 局所的特徴検出を回帰問題として定式化：画像パッチから最も近い特徴位置への変位ベクトルを予測するニューラルネットワークを学習する。
• 画像変換（例：回転、平行移動）に対して出力が予測可能に変化する共変性制約を導入することで、不要な変換に対して不変性を実現する。
• 幾何的群論を用いて、変換共変性によって検出器を特徴づけ、どの変換が固定され、どの変換が未定義のままであるかを特定する。
• 一般的な検出器（例：ハリス、ヘシアン、DoG）を統一するフレームワークを導出し、同じ学習目的関数を用いて新たな検出器の学習を可能にする。
• 効率性を高めるために、ストライド2の推論を用いた完全畳み込みネットワークで手法を実装する。
• 最適化中に共変性を強制するために、ランダムな変換（例：回転、平行移動）を用いたデータ拡張を用いてネットワークを訓練する。

実験結果

リサーチクエスチョン

• RQ1 局所的特徴検出を回帰問題として効果的に定式化することで、深層ネットワークを用いたエンドツーエンド学習が可能になるか？
• RQ2 視点の変化に対して不変である一方で、自身のアンカーを学習できる一般化された共変性制約をどのように導出できるか？
• RQ3 提案されたフレームワークは、従来の手作業で設計された検出器（例：ハリス、DoG、ヘシアン）を1つの学習フレームワークで統合・一般化できるか？
• RQ4 この手法を用いてアンカーをスクラッチから学習することで、再現性とマッチング精度において従来の手作業検出器を上回るか？
• RQ5 このフレームワークは、スケール選択やアフィン変換対応ネットワークのような複雑な検出器の学習に拡張可能か？

主な発見

• 提案されたDetNetフレームワークは、VGG-Affineベンチマーク上での標準検出器（DoG、ハリス、FAST）を上回る高い再現性とマッチングスコアを達成する。
• ストライド2の推論を用いたDetNetは、高精度を維持したまま効率性を実現し、密な評価と同等のマッチングスコアを示す。
• 方向検出器RotNetは、翻訳ノイズが存在する状況でも、SIFTの方向推定器に比べて角度登録誤差を最大で半減させる。
• SE(2)（平行移動と回転）に対して共変に学習されたRotNetは、SIFTの勾配ベースの方向推定を上回り、特に不要な平行移動が存在する状況で優れた性能を示す。
• SIFTの方向推定をRotNetに置き換えることで、VGG-Affineベンチマーク上の全体のマッチングスコアが向上し、学習された方向推定の実用的利点を確認できる。
• 理論的フレームワークは、変換共変性を用いて一般的でない検出器タイプまで包括的に特徴づけ、このアプローチの一般性を裏付ける。