[論文レビュー] Working hard to know your neighbor's margins: Local descriptor learning loss

Anastasiya Mishchuk, Dmytro Mishkin+2 more|arXiv (Cornell University)|May 30, 2017

Advanced Image and Video Retrieval Techniques参考文献 25被引用数 298

ひとこと要約

論文は HardNet を紹介する。128-D のコンパクトな局所画像記述子を、バッチ内の最も近い陽性と最も近い陰性の距離を最大化する新規損失で訓練し、パッチ検証、マッチング、画像検索で最先端の結果を達成する。

ABSTRACT

We introduce a novel loss for learning local feature descriptors which is inspired by the Lowe's matching criterion for SIFT. We show that the proposed loss that maximizes the distance between the closest positive and closest negative patch in the batch is better than complex regularization methods; it works well for both shallow and deep convolution network architectures. Applying the novel loss to the L2Net CNN architecture results in a compact descriptor -- it has the same dimensionality as SIFT (128) that shows state-of-art performance in wide baseline stereo, patch verification and instance retrieval benchmarks. It is fast, computing a descriptor takes about 1 millisecond on a low-end GPU.

研究の動機と目的

• 伝統的な SIFT 風のマッチング基準を再検討して記述子学習を動機づける。
• バッチ内で最も難しい陽性/陰性に焦点を当てた、単純でありながら効果的な損失を提案する。
• この損失が強力な性能を持つコンパクトな 128-D 記述子を実現できることを示す。
• パッチ検証、マッチング、検索、広いベースライン stereo などのベンチマークで、手作りおよび従来の学習済み記述子に対して競争力のある結果を示す。

提案手法

• アンカー/陽性ペアごとに最も近い非一致記述子からトリプレットを形成するバッチベースのサンプリング。
• マッチングペア間の距離を最小化しつつ、より難易度の高い非一致距離を最大化する、バッチ全体の距離行列から計算されるトリプレットマージン損失。
• プーリング層なしの 128-D L2 正規化記述子を生成する、L2Net に基づく CNN アーキテクチャ。SGD と標準的なデータ正規化で訓練。
• HardNet は二重ストリームアーキテクチャを用い、距離行列を GPU 上で計算して、単一のフォワードパスで各アンカー/陽性ペアごとに hardest negatives を選択。
• 記述子チャネルに対する追加の相関ペナルティは使用せず、訓練には PS: 32x32 グレースケールパッチを用い、128-D 出力。

実験結果

リサーチクエスチョン

• RQ1 バッチハードネガティブを用いた SIFT 起源の損失は、通常のトリプレットまたはコントラスト搾力（contrastive）損失より局所記述子学習を改善できるか。
• RQ2 コンパクトな 128-D 記述子は、パッチ検証、マッチング、検索のベンチマークで最先端の性能を達成するのに十分か。
• RQ3 提案されたバッチハードサンプリング戦略は、収束、一般化、およびさまざまなデータセットに対する欺瞞（distractors）へのロバスト性にどう影響するか。
• RQ4 データセットのサイズと訓練データ（Brown/HPatches など）と現実世界のタスクへの転移に対する記述子の品質への影響は何か。

主な発見

• 提案された局所記述子学習損失（バッチ内で最も難しいトリプレット）：ランダムサンプリングおよび古典的な hard-negative 採掘を、softmin、triplet margin、contrastive を含む複数の損失で上回る。
• L2Net アーキテクチャ上で提案された損失を用いて訓練された HardNet は、パッチ検証、マッチング、検索のベンチマークで最先端の記述子を生み出す。
• HardNet はコンパクトな 128-D 記述子で、広いベースラインの stereo やドメイン横断の検索タスクでも競争力がある、または優れた性能を示す。
• ミニバッチサイズを増加させると、約 512 を超えると大きな利得はなくなるが、ハードネガティブがより多く観測されることにより性能が向上する。
• hardest-in-batch sampling の採用は過学習を抑え、頑健な勾配をもたらす一方、ランダムサンプリングや全データセットの hard mining は追加正則化なしには不安定性や過学習につながり得る。