[論文レビュー] Deep Metric Learning via Facility Location

Hyun Oh Song, Stefanie Jegelka+2 more|arXiv (Cornell University)|Dec 5, 2016

Domain Adaptation and Few-Shot Learning被引用数 6

ひとこと要約

本論文は、事前に処理されたトリプレットやペアを必要とせず、グローバルな埋め込み空間構造を直接モデル化することで、クラスタリング品質（NMIで測定）を最適化する、新しい深層度量学習フレームワークを提案する。この手法は、CUB200-2011、Cars196、Stanford Online Productsの各ベンチマークで最先端の性能を達成し、NMIおよびRecall@Kの両指標において、先行手法を上回っている。

ABSTRACT

Learning the representation and the similarity metric in an end-to-end fashion with deep networks have demonstrated outstanding results for clustering and retrieval. However, these recent approaches still suffer from the performance degradation stemming from the local metric training procedure which is unaware of the global structure of the embedding space. We propose a global metric learning scheme for optimizing the deep metric embedding with the learnable clustering function and the clustering metric (NMI) in a novel structured prediction framework. Our experiments on CUB200-2011, Cars196, and Stanford online products datasets show state of the art performance both on the clustering and retrieval tasks measured in the NMI and Recall@K evaluation metrics.

研究の動機と目的

• 現在の深層度量学習手法がミニバッチ内の局所的なペアワイズまたはトリプレット関係にのみ焦点を当てているという制限に対処すること。
• 埋め込み空間のグローバル構造を考慮する訓練フレームワークを開発し、クラスタリングおよびリtrieval性能を向上させること。
• トリプレットやnペアの構築といった高コストで硬直的なデータ準備手順の必要性を排除すること。
• 正規化相互情報量（NMI）に基づく微分可能でエンドツーエンドで訓練可能な損失を直接最適化することで、クラスタリング品質を向上させること。
• 事前に定義されたハードネガティブマイニングやペア形成に依存しないため、より柔軟で効率的なデータサンプリング戦略を可能にすること。

提案手法

• 構造的予測フレームワークを用い、真のクラスタリング割り当てが他のすべての割り当てよりも構造的マージンで高いスコアを取得するように保証する。
• 埋め込み空間における特定のクラスタリング割り当ての品質を評価するクラスタリングスコア関数Fを定義する。
• 真のクラスタリングのスコアと他のすべての可能なクラスタリングのスコアとの差を最大化するマージン損失を導入する。
• 離散的なクラスタリング割り当てを経由したバックプロパゲーションを可能にするために、クラスタリングスコアの微分可能リラクゼーションを採用する。
• 深層ニューラルネットワークの埋め込み出力をクラスタリングスコア関数の入力として使用し、エンドツーエンドの訓練を可能にする。
• 度量一般化を向上させるために、先行の最先端手法と同様に最終埋め込みにℓ2正規化を適用する。

実験結果

リサーチクエスチョン

• RQ1 グローバルなクラスタリング構造をモデル化する深層度量学習フレームワークは、標準ベンチマークにおいて、局所的でペアワイズまたはトリプレットベースの手法を上回る性能を発揮できるか？
• RQ2 NMIを直接的目標として最適化することは、標準的な度量学習損失と比較して、より優れたクラスタリングおよびリtrieval性能をもたらすか？
• RQ3 構造的予測に基づく損失により、トリプレットやペアへのデータ前処理の必要性を排除しつつ、性能を維持または向上させられるか？
• RQ4 本手法は、セミハードマイニングを用いたトリプレット学習、リフトド構造的埋め込み、Nペア損失といった最先端手法と比較して、どのように差をつけるか？
• RQ5 エンドツーエンドで微分可能であるクラスタリング目的関数のおかげで、より柔軟なデータサンプリング戦略をサポートできるか？

主な発見

• 本手法は、CUB200-2011でNMIスコア59.23を達成し、以前の最高の57.24（Nペア）および56.50（リフトド構造的埋め込み）を上回った。
• CUB200-2011では、Recall@8が81.92を達成し、以前の最高の79.49（Nペア）および79.63（リフトド構造的埋め込み）を上回った。
• Cars196では、NMIが59.04、Recall@8が87.81を達成し、以前の最高の57.79（Nペア）および56.88（リフトド構造的埋め込み）を上回った。
• Stanford Online Productsでは、NMIが89.48、Recall@100が93.23を達成し、以前の最高の89.37（Nペア）および88.65（リフトド構造的埋め込み）を上回った。
• t-SNE可視化により、視点、ポーズ、照明の大きな変化に対しても、学習された埋め込みが同様のクラスを効果的にグループ化していることが確認された。