[論文レビュー] Local Similarity-Aware Deep Feature Embedding

Chen Huang, Chen Change Loy+1 more|arXiv (Cornell University)|Oct 27, 2016

Domain Adaptation and Few-Shot Learning参考文献 28被引用数 116

ひとこと要約

Position-Dependent Deep Metric (PDDM) を導入し、局所特徴構造に適応した類似度測定を行い、オンライン難例マイニングとメトリック-埋め込み学習の共同最適化を可能にし、深い特徴埋め込みを改善する。

ABSTRACT

Existing deep embedding methods in vision tasks are capable of learning a compact Euclidean space from images, where Euclidean distances correspond to a similarity metric. To make learning more effective and efficient, hard sample mining is usually employed, with samples identified through computing the Euclidean feature distance. However, the global Euclidean distance cannot faithfully characterize the true feature similarity in a complex visual feature space, where the intraclass distance in a high-density region may be larger than the interclass distance in low-density regions. In this paper, we introduce a Position-Dependent Deep Metric (PDDM) unit, which is capable of learning a similarity metric adaptive to local feature structure. The metric can be used to select genuinely hard samples in a local neighborhood to guide the deep embedding learning in an online and robust manner. The new layer is appealing in that it is pluggable to any convolutional networks and is trained end-to-end. Our local similarity-aware feature embedding not only demonstrates faster convergence and boosted performance on two complex image retrieval datasets, its large margin nature also leads to superior generalization results under the large and open set scenarios of transfer learning and zero-shot learning on ImageNet 2010 and ImageNet-10K datasets.

研究の動機と目的

• 深層埋め込みにおいて global Euclidean metric の代わりに局所適応型の類似度指標が必要であることを動機づける。
• 特徴差分と絶対的位置を用いて局所メトリックを学習するプラグイン可能な PDDM ユニットを提案する。
• 大きなマージンのダブルヘッダー・ヒンジ損失を用いて PDDM メトリックと埋め込みを共同最適化する。
• 局所類似性を考慮した埋め込みが細粒度データセットでの検索性能を向上させ、転移/ゼロショット設定へ一般化することを示す。

提案手法

• 入力として特徴差分 u = |f(x_i)-f(x_j)| および特徴平均 v = (f(x_i)+f(x_j))/2 を用いる Position-Dependent Deep Metric (PDDM) を提案する。
• 専用の全結合層を用いて二つの別個の変換表現 u′ と v′ を計算し、それを結合した後、最終的なスコアリング層で S_i,j を出力する。
• 処理前に特徴を単位球体に正規化して比較可能性を確保する。
• 埋め込み CNN とエンドツーエンドで訓練し、四重組成のパラメータを共有し、四つの特徴量に対して同一の CNN を用いる。
• ダブルヘッダー・ヒンジ損失を導入する: ミニバッチ内のハード quadruplets を用いて正例と負例の類似度分布の分離を最大化するメトリック損失 E_m と、ハードポジティブとハードネガティブの特徴距離のマージンを強制する埋め込み損失 E_e。
• 結合目的関数は E_m, E_e, およびネットワークパラメータの L2 正則化を組み合わせ、メトリックと埋め込みを共同最適化する。

実験結果

リサーチクエスチョン

• RQ1 ローカルに適応する類似度メトリックはグローバルな Euclidean や Mahalanobis メトリックより難例マイニングを改善できるか。
• RQ2 オンラインの PDDM ガイド付き難例マイニングは画像検索の収束を速め、埋め込みの品質を向上させるか。
• RQ3 共に学習した PDDM と埋め込みは転移学習やゼロショット学習設定へ一般化するか。
• RQ4 スコアレベルと特徴レベルの supervise を組み合わせることは埋め込み品質に有益か。

主な発見

• PDDM はグローバルな Euclidean メトリックより識別可能な類似度スコア分布を生み出し、難例マイニングを改善する。
• PDDM+Quadruplet および PDDM ベースのランキングは、CUB-200-2011 と CARS196 での収束を速め、Recall@K を従来法より向上させた。
• 学習済み埋め込みは、難易度が高く異種の特徴空間で Euclidean 距離下で大きなマージンとロバストなクラスタリングを示す。
• PDDM と局所類似性対応型埋め込みは、ImageNet-10K の転移学習性能と ImageNet-2010 のゼロショット学習において、いくつかのベースラインより改善を示した。
• Hard quadruplet mining via PDDM は計算上ほぼ線形のバッチ複雑性を維持し、密なペア距離計算を回避する。