[論文レビュー] Local Descriptors Optimized for Average Precision

Kun He, Yan Lu+1 more|arXiv (Cornell University)|Apr 15, 2018

Advanced Image and Video Retrieval Techniques被引用数 19

ひとこと要約

この論文では、深層ニューラルネットワークを用いて、最近傍一致における平均適合度を直接最適化することで、局所的特徴記述子をリストワイズなラーニング・トゥ・ランクフレームワークで最適化する手法を提案する。グループ化されたパッチバッチで訓練し、空間変換器とクラスタリングベースの監視を活用することで、パッチ検証、リtrieval、画像一致ベンチマークで最先端の性能を達成し、SIFT や先行の学習済み記述子を上回る。

ABSTRACT

Extraction of local feature descriptors is a vital stage in the solution pipelines for numerous computer vision tasks. Learning-based approaches improve performance in certain tasks, but still cannot replace handcrafted features in general. In this paper, we improve the learning of local feature descriptors by optimizing the performance of descriptor matching, which is a common stage that follows descriptor extraction in local feature based pipelines, and can be formulated as nearest neighbor retrieval. Specifically, we directly optimize a ranking-based retrieval performance metric, Average Precision, using deep neural networks. This general-purpose solution can also be viewed as a listwise learning to rank approach, which is advantageous compared to recent local ranking approaches. On standard benchmarks, descriptors learned with our formulation achieve state-of-the-art results in patch verification, patch retrieval, and image matching.

研究の動機と目的

• 平均適合度などのランクベースの性能指標を直接最適化することで、局所的特徴記述子学習を向上させること。
• 記述子学習パイプラインにおける手作業によるコンポonentsや複雑な最適化ヒューリスティクスへの依存を排除すること。
• タスクに依存しない最近傍一致ステージの性能を向上させる一般化された学習定式化を開発すること。
• 空間変換器やクラスタリングベースの監視といったタスク固有の拡張により、幾何的ノイズやデータ不足に対する耐性を高めること。
• UBC Phototour、HPatches、RomePatches、Oxford といった複数の標準ベンチマークで最先端の結果を示すこと。

提案手法

• 平均適合度を目的関数として直接最適化するリストワイズラーニング・トゥ・ランク問題として記述子学習を定式化する。
• 深層ニューラルネットワークを用いてバイナリおよび実数値記述子を学習し、マッチが上位にランク付けされるグループ化されたパッチミニバッチに基づいて訓練する。
• 幾何的歪みに対して耐性を高めるために、空間変換器モジュールを採用し、追加の監視を必要としない。
• HPatches のような困難なデータセットに対して、追加のパッチレベルの監視をマイニングするためにクラスタリングベースの手法を適用する。
• 同じ3次元点を共有するパッチのグループからミニバッチを構築し、特定のパッチのすべてのマッチが同じバッチ内にあるようにすることで、効果的なリストワイズ監視を実現する。
• ミニバッチ内のすべてのパッチ間のペアワイズ距離を計算し、ヒストグラムにバインディングする。距離計算のための時間計算量は、O(bM²) である。

実験結果

リサーチクエスチョン

• RQ1 平均適合度というランク指標を直接最適化することで、代替損失関数を用いる場合と比較して局所的記述子の性能が向上するか？
• RQ2 リストワイズラーニング・トゥ・ランクは、最近年のペアワイズまたはトリプルットベースの学習アプローチと比較して、記述子学習においてどのように異なるか？
• RQ3 空間変換器のようなタスク固有のモジュールを用いることで、タスクに依存しない記述子学習はどの程度向上するか？
• RQ4 クラスタリングベースの監視は、HPatches のようなデータが少ないベンチマークで記述子の性能を向上させられるか？
• RQ5 最近傍一致の性能を最適化することで、画像一致や3次元再構築といった下流タスクでもより良い結果が得られるか？

主な発見

• 提案手法は、パッチ検証、リtrieval、画像一致の各ベンチマークで、UBC Phototour、HPatches、RomePatches、Oxford で最先端の性能を達成した。
• Oxford データセットでは、128次元の実数値 DOAP 記述子が SIFT や他の学習済み記述子を上回り、特に graf や boat のような困難なシーケンスで顕著な優位性を示した。
• Liberty で学習した 256ビットのバイナリ DOAP は、Oxford ベンチマーク全体の平均で SIFT や他の実数値記述子を上回った。
• ミニバッチサイズが約 2048 に達すると性能の飽和が観察され、それ以上のサイズでは利得が減少することが示された。
• 先行手法よりも 8 分の 1 の次元数（128 対 1024）で、精度を維持または向上させることができた。
• Nvidia Titan X Pascal GPU を用いた訓練では、ミニバッチサイズが 4096 であっても 1 エポックあたり 4 分未満で実行可能であり、計算効率が優れていることが示された。