[論文レビュー] Learning Spread-out Local Feature Descriptors

Xu Zhang, Felix X. Yu+2 more|arXiv (Cornell University)|Aug 21, 2017

Advanced Image and Video Retrieval Techniques参考文献 23被引用数 10

ひとこと要約

本論文は、単位球面上の一様分布にインspiredされ、記述子空間内で記述子が均等に分散するように制約することで、局所的特徴記述子の学習を向上させる、新しい正則化手法であるグローバル直交正則化（GOR）を提案する。非一致ペア間の直交性を促進することで、トリプレット損失およびペairwise損失の性能を顕著に向上させ、ハードサンプルマイニングを必要とせず、ユークリッド距離に基づく最先端手法（包括的損失を含む）を上回る。また、画像レベルの深層特徴埋め込みの性能向上にも寄与する。

ABSTRACT

We propose a simple, yet powerful regularization technique that can be used to significantly improve both the pairwise and triplet losses in learning local feature descriptors. The idea is that in order to fully utilize the expressive power of the descriptor space, good local feature descriptors should be sufficiently "spread-out" over the space. In this work, we propose a regularization term to maximize the spread in feature descriptor inspired by the property of uniform distribution. We show that the proposed regularization with triplet loss outperforms existing Euclidean distance based descriptor learning techniques by a large margin. As an extension, the proposed regularization technique can also be used to improve image-level deep feature embedding.

研究の動機と目的

• 記述子空間の表現能力を十分に活用できない既存の局所的記述子学習手法の限界を是正すること。
• 埋め込み空間内での記述子の均等な分散を強制することで、記述子学習のロバスト性と一般化性能を向上させること。
• 従来の損失関数（例えばトリプレット損失やペairwise損失など）と互換性を持つ、シンプルで汎用性の高い正則化手法を開発すること。
• 提案手法を局所的記述子学習にとどまらず、画像レベルの深層特徴埋め込みに応用し、より広範な適用可能性を示すこと。

提案手法

• 非一致ペアが記述子空間内でほぼ直交するように促進することで、記述子の分散を最大化する正則化項を提案する。
• 単位球面上の一様分布にインスパイアされ、非一致特徴ペア間の内積がゼロに近づくように正則化を行う。
• この正則化をトリプレット損失およびペairwise損失関数に統合し、一致ペアと非一致ペアの分離能力を強化する。
• 本手法は局所的記述子学習および画像レベル埋め込みの両方のタスクに適用可能であり、ImageNetで微調整されたGoogLeNetベースのネットワークを用いる。
• 標準的な学習率スケジュールとバッチサイズ128を用い、20,000イテレーションにわたりエンドツーエンドで損失関数を最適化する。
• 複雑なサンプリング戦略を避け、ハードサンプルマイニングを必要としない。

実験結果

リサーチクエスチョン

• RQ1 埋め込み空間内での記述子の均等な分散を強制することで、局所的特徴記述子学習の性能向上が達成できるか？
• RQ2 提案された正則化は、既存のトリプレット損失およびペairwise損失関数と比較して、一致精度およびロバスト性において優れているか？
• RQ3 この正則化手法は局所的記述子を越えて、画像レベル埋め込みタスクにも一般化可能か？
• RQ4 本手法は、異なる記述子次元数およびデータセットスケールの下でも、性能向上を維持できるか？

主な発見

• トリプレット損失と組み合わせた提案手法GORは、ハードサンプルマイニングを必要とせず、すべての既存のユークリッド距離ベースの記述子学習手法（包括的損失を含む）を上回る性能を、パッチペア分類タスクで達成した。
• GORはハードサンプルマイニングを必要とせず、HPatchesベンチマークでSOTA性能を達成した。
• LSSS損失と組み合わせた場合、GORはスタンフォードオンラインプロダクトスデータセットでF1およびNMIスコアを向上させ、特に高次元埋め込み（d ≥ 128）において顕著な改善を示した。
• 画像検索タスクにおいて、512次元の記述子ではRecall@Kが顕著に向上した。
• Car196やCUB-200-2011のような小規模データセットでは、明確な向上が得られなかったが、これはクラス多様性が不足し、一様分布仮定を満たしにくいためと推測される。
• 本手法は複数の損失関数に有効であり、画像レベル埋め込みへの一般化も良好に機能し、広範な適用可能性を示した。