[論文レビュー] Divide and Conquer the Embedding Space for Metric Learning

Artsiom Sanakoyeu, Vadim Tschernezki+2 more|arXiv (Cornell University)|Jun 14, 2019

Face and Expression Recognition参考文献 56被引用数 10

ひとこと要約

本論文は、データと埋め込み空間をK個の重複のない部分空間に分割する分割統治的手法を提案し、各部分空間で独立した距離メトリックを学習する。各部分問題の複雑さを低減し、自然なハードネガティブ例のマイニングを可能にすることで、5つのベンチマークデータセットにおいて、リtrieval、クラスタリング、再識別タスクで最先端の性能を達成した。

ABSTRACT

Learning the embedding space, where semantically similar objects are located close together and dissimilar objects far apart, is a cornerstone of many computer vision applications. Existing approaches usually learn a single metric in the embedding space for all available data points, which may have a very complex non-uniform distribution with different notions of similarity between objects, e.g. appearance, shape, color or semantic meaning. Approaches for learning a single distance metric often struggle to encode all different types of relationships and do not generalize well. In this work, we propose a novel easy-to-implement divide and conquer approach for deep metric learning, which significantly improves the state-of-the-art performance of metric learning. Our approach utilizes the embedding space more efficiently by jointly splitting the embedding space and data into $K$ smaller sub-problems. It divides both, the data and the embedding space into $K$ subsets and learns $K$ separate distance metrics in the non-overlapping subspaces of the embedding space, defined by groups of neurons in the embedding layer of the neural network. The proposed approach increases the convergence speed and improves generalization since the complexity of each sub-problem is reduced compared to the original one. We show that our approach outperforms the state-of-the-art by a large margin in retrieval, clustering and re-identification tasks on CUB200-2011, CARS196, Stanford Online Products, In-shop Clothes and PKU VehicleID datasets.

研究の動機と目的

• 高次元で非一様に分布する埋め込み空間において、一様なメトリックを学習する課題に対処すること。
• 複雑なデータ分布において、外観・形状・意味的類似性といった対立する類似性タイプを同時に扱えず、既存のメトリック学習手法に限界があることを克服すること。
• グローバルなメトリック学習問題をより小さな局所的な部分問題に分解することで、一般化性能と収束速度を向上させること。
• 損失関数に依存しない、標準的な線形埋め込み層の効率的かつ即座に置き換え可能な代替手段を提供すること。
• 細粒度リtrieval、再識別、クラスタリングなどの多様なベンチマークにおいて一貫した性能向上を示すこと。

提案手法

• 学習済み特徴表現に基づき、K-meansクラスタリングを用いて埋め込み空間内のデータポイントをK個のグループに分類する。
• ニューラルネットワークの最終埋め込み層を、K個の重複のない部分空間に分割し、各クラスタに1つずつ割り当てる。
• 各クラスタに割り当てられたデータと専用の部分空間のみを対象として最適化されるK個の独立した学習器を訓練する。
• 特徴抽出に共通のバックボーンネットワークを用い、各学習器が部分空間に別個の線形射影を適用する。
• 共有された特徴と個々の部分空間を経由して勾配を誤差逆伝播することで、すべてのK個の学習器を一括してエンドツーエンドで訓練する。
• 学習の進行に伴い埋め込み空間が変化するのを考慮し、毎TエポックごとにK-meansクラスタリングを再実行してクラスタの再割り当てを適応的に行う。

実験結果

リサーチクエスチョン

• RQ1 埋め込み空間とデータをK個の部分問題に分割することで、単一のグローバルメトリックを学習する手法と比較して、メトリック学習の性能が向上するか？
• RQ2 データと部分空間の同時クラスタリングは、より良い一般化性能とより速い収束をもたらすか？
• RQ3 明示的なマイニング手順なしに、本手法が自然にハードネガティブ例を特定できるか？
• RQ4 クラスタリング戦略の選択（例：K-means対ランダム対真値ラベル）が性能に与える影響はいかほどか？
• RQ5 本手法は、多様なメトリック学習タスクとデータセットにどの程度一般化可能か？

主な発見

• 提案手法は、CUB200-2011、CARS196、Stanford Online Products、In-shop Clothes、PKU VehicleIDという5つのベンチマークデータセットにおいて、新たな最先端性能を達成した。
• マージン損失を用いたStanford Online Productsでは、75.9%のRecall@1を達成し、ベースライン（72.7%）および他のアブレーションバリアントを上回った。
• K=8の学習器を用いることで最良の性能が得られ、Stanford Online ProductsではRecall@1がベースラインの72.7%から75.9%に向上した。
• 埋め込み空間におけるK-meansクラスタリングは、ランダムなデータ分割（73.2% Recall@1）および真値ラベルによるグループ化（74.5% Recall@1）を顕著に上回った。
• 部分問題ごとの学習複雑度を低減することで、単一メトリック学習と比較して収束が速く、より良い局所最適解に到達できた。
• 本手法は自然にハードネガティブ例を特定する：クラスタ内ネガティブペアの平均距離はクラスタ間ペアよりも低く、学習信号の強度が向上した。