[論文レビュー] LIFT: Learned Invariant Feature Transform

Kwang Moo Yi, Eduard Trulls+2 more|arXiv (Cornell University)|Mar 30, 2016

Advanced Image and Video Retrieval Techniques参考文献 37被引用数 102

ひとこと要約

LIFT は特徴点検出、方位推定、ディスクリプタ抽出を同時に学習する完全に微分可能なエンドツーエンド深層ネットワークを提案し、標準ベンチマークで最先端手法を上回る。

ABSTRACT

We introduce a novel Deep Network architecture that implements the full feature point handling pipeline, that is, detection, orientation estimation, and feature description. While previous works have successfully tackled each one of these problems individually, we show how to learn to do all three in a unified manner while preserving end-to-end differentiability. We then demonstrate that our Deep pipeline outperforms state-of-the-art methods on a number of benchmark datasets, without the need of retraining.

研究の動機と目的

• 単一の微分可能なパイプライン内で、局所特徴の検出・方位・記述を共同で学習する必要性を動機づける。
• 微分可能な演算と連結された3部品のCNNベースアーキテクチャ（検出器、方位推定器、ディスクリプタ）を開発し、エンドツーエンドの学習を可能にする。
• 部品を個別に最適化するのと比べ、結合最適化が全体のマッチング性能を向上させることを示す。
• 異なる視点・照明条件を持つ多様なデータセットに対する学習特徴の一般化を評価する。

提案手法

• Detector、Orientation Estimator、Descriptor の3つのCNNベースのコンポーネントを備えるLIFTアーキテクチャを導入する。
• Spatial Transformer Layersを用いて画像パッチを補正し、切り取りと回転の過程で微分可能性を維持する。
• 非局所最大抑制を、エンドツーエンド学習のための微分可能なsoft argmaxに置換する。
• 問題特有のスケジュールで学習する：まずDescriptorを学習し、次にOrientation Estimator、最後にDetectorを学習する。SfM由来のグラウンドトゥルース対応を用いたSiamese設定を用いる。
• 同一/異なる3D点に対応する画像パッチ上で4分岐Siameseネットワークを用い、後半で descriptor、orientation、detector を jointly 最適化する。
• Strecha、DTU、Webcamデータセットを対象に、repeatability、NN mAP、matching score を用いて、多様なベースラインと比較評価する。

実験結果

リサーチクエスチョン

• RQ1 単一の微分可能ネットワークは、堅牢なクロスビューマッチングのために共同最適化される検出・方位・記述を学習できるか。
• RQ2 3つのコンポーネントすべてのエンドツーエンド学習は、各コンポーネントを独立に調整するよりも全体のマッチング性能を向上させるか。
• RQ3 異なるシーン・視点・照明条件を持つデータセットで、学習済み特徴はどれだけ一般化するか。

主な発見

• 統合されたLIFTパイプラインは、複数の標準データセットで最先端のベースラインを上回る。
• 各コンポーネント（検出器、方位推定器、ディスクリプタ）は全体の性能に寄与し、共同学習されたコンポーネントは手作りや別個に学習された対応物を上回る。
• Soft argmaxベースのNMSとSpatial Transformerを用いたパッチ補正は微分可能性を維持し、エンドツーエンド訓練を可能にする。
• Descriptorを先に学習し、その後Orientation EstimatorとDetectorを学習するという実用的で効果的な学習戦略を生む。
• 学習された検出器は、DTUおよびWebcamデータセットのシーンにも一般化し、データセットの変動にもかかわらず堅牢に動作する。
• アブレーション研究により、コンポーネントを伝統的なSIFTベースなどのベースラインに置換すると性能が低下することが示され、エンドツーエンド学習パイプラインの利点が強調される。