[論文レビュー] LF-Net: Learning Local Features from Images

Y. Ono, Eduard Trulls+2 more|arXiv (Cornell University)|May 24, 2018

Image Retrieval and Classification Techniques被引用数 223

ひとこと要約

LF-Net は、深度/姿勢が知られている画像ペアから局所特徴パイプラインをエンドツーエンドで学習する2分岐の自己教師ありアーキテクチャを提示し、最先端のスパースマッチングを達成するとともに、QVGA画像で60fpsを超える速度で動作します。

ABSTRACT

We present a novel deep architecture and a training strategy to learn a local feature pipeline from scratch, using collections of images without the need for human supervision. To do so we exploit depth and relative camera pose cues to create a virtual target that the network should achieve on one image, provided the outputs of the network for the other image. While this process is inherently non-differentiable, we show that we can optimize the network in a two-branch setup by confining it to one branch, while preserving differentiability in the other. We train our method on both indoor and outdoor datasets, with depth data from 3D sensors for the former, and depth estimates from an off-the-shelf Structure-from-Motion solution for the latter. Our models outperform the state of the art on sparse feature matching on both datasets, while running at 60+ fps for QVGA images.

研究の動機と目的

• From scratch without hand-crafted detectors で局所特徴抽出パイプラインを学習する。
• 深度と相対姿勢を用いてトレーニングの仮想監視ターゲットを作成する。
• 微分可能ブランチと非微分可能ブランチを組み合わせてエンドツーエンド学習を可能にする。
• 屋内外のデータセットで強力なスパースマッチング性能を示す。
• リアルタイムアプリケーションに適した高速推論を示す。

提案手法

• LF-Net は、スケール空間スコアマップ、密な方向、およびキーポイント周囲のパッチを出力するディテクタを含む。
• トレーニングでは、2つの同一のネットワークブランチを処理する2画像を用い、右ブランチが ground-truth ジオメトリを用いたワープによって左ブランチへ非微分可能な監視信号を提供する。
• 微分可能なサンプラー（STN）は検出されたキーポイント周囲のパッチを切り抜き、ディスクリプタ学習を行う。
• スケール空間のキーポイント検出は、マルチスケール特徴マップとソフト非最大抑制およびソフトargmaxを用いてサブピクセル精度を得る。
• 方向推定は共有特徴マップから5x5 の畳み込みでサイン/コサイン成分を生成する。
• ディスクリプタは256-D、L2正規化され、パッチベースのディスクリプタ損失（ハードネガティブマイニングを含むトリプレット損失）で学習される。
• トレーニング損失には、ワープ済みスコアマップ上の画像レベル損失、ビュー間でディスクリプタを整合させるパッチレベル損失、スケール/方向の整合性を強制するジオメトリ損失が含まれる。

実験結果

リサーチクエスチョン

• RQ1 LF-Net は手作りのデテクターを用いずに、識別性の高いキーポイントとディスクリプタをエンドツーエンドで学習できるか？
• RQ2 非微分可能でワープベースの監視をエンドツーエンド学習に組み込む方法は？
• RQ3 LF-Net のトレーニング戦略は、深度入力を持つ屋内外データセットに一般化するか？
• RQ4 従来および学習済みのベースラインと比較したスパース特徴マッチング性能とランタイムは？
• RQ5 ディテクタとディスクリプタの共同学習は全体のマッチング性能にどのように影響するか？

主な発見

• LF-Net は、屋内（ScanNet）および屋外（photo-tourism）データセットで最先端のスパース特徴マッチングを達成する。
• 屋外データでは、LF-Net はマッチングスコアで SuperPoint を相対9%の改善、LIFT を相対45%の改善（回転・スケール増強有無を問わず）で上回る。
• 屋内データでは、LF-Net は短いベースラインの系列で SuperPoint に匹敵し、回転/スケールを使用した場合 SURF を大きく上回る。
• LF-Net は QVGA (320x240) フレームで約60fps で動作し、一般的な GPU（例：Titan X）でリアルタイム性能へスケールする。
• 2-branch 設定でディテクタとディスクリプタを共同学習すると、それぞれ別々に学習させる場合より一貫した改善が得られる（屋外のアブレーションで約7%相対改善の例）。
• この手法は屋内/屋外設定を通じて頑健であるが、深度ノイズは深度デバイス（例：Kinect）が不完全なマップを生成する室内で影響を与えることがある。