[論文レビュー] Spectral, Probabilistic, and Deep Metric Learning: Tutorial and Survey

Benyamin Ghojogh, Ali Ghodsi+2 more|arXiv (Cornell University)|Jan 23, 2022

Face and Expression Recognition被引用数 14

ひとこと要約

本チュートリアルおよびサーベイは、スペクトル的、確率的、ディープなメトリック学習手法を包括的にレビューし、それらを3つのコアなカテゴリに整理している。マハラノビス距離といった基礎的概念を提示し、フィッシャー-HSIC、NCA、シameseネットワーク、トリプレット損失といった主要なアルゴリズムをカバーしており、少数のサンプルからの学習やマルチモーダルなメトリック学習分野における最近の進展も強調している。本稿は、表現学習および次元削減分野の研究者にとって統一的な参照資料を提供する。

ABSTRACT

This is a tutorial and survey paper on metric learning. Algorithms are divided into spectral, probabilistic, and deep metric learning. We first start with the definition of distance metric, Mahalanobis distance, and generalized Mahalanobis distance. In spectral methods, we start with methods using scatters of data, including the first spectral metric learning, relevant methods to Fisher discriminant analysis, Relevant Component Analysis (RCA), Discriminant Component Analysis (DCA), and the Fisher-HSIC method. Then, large-margin metric learning, imbalanced metric learning, locally linear metric adaptation, and adversarial metric learning are covered. We also explain several kernel spectral methods for metric learning in the feature space. We also introduce geometric metric learning methods on the Riemannian manifolds. In probabilistic methods, we start with collapsing classes in both input and feature spaces and then explain the neighborhood component analysis methods, Bayesian metric learning, information theoretic methods, and empirical risk minimization in metric learning. In deep learning methods, we first introduce reconstruction autoencoders and supervised loss functions for metric learning. Then, Siamese networks and its various loss functions, triplet mining, and triplet sampling are explained. Deep discriminant analysis methods, based on Fisher discriminant analysis, are also reviewed. Finally, we introduce multi-modal deep metric learning, geometric metric learning by neural networks, and few-shot metric learning.

研究の動機と目的

• スペクトル的、確率的、ディープラーニングのパラダイムにまたがるメトリック学習手法について、統一的かつ詳細なチュートリアルおよびサーベイを提供すること。
• マハラノビス距離および一般化マハラノビス距離を含む、距離メトリクスの理論的基盤を明確にすること。
• NCA、マージン最大化メトリック学習、シameseネットワーク、少数のサンプルからの学習メトリック学習といった主要なアルゴリズムファミリーを体系立てて比較すること。
• ディープメトリック学習分野における最近の進展、特にマルチモーダルおよびリーマン多様体上での幾何的アプローチを強調すること。
• 次元削減、多様体学習、表現学習分野の研究者および実務家にとっての基盤的参照資料を提供すること。

提案手法

• メトリック学習を、その背後にある原理と最適化フレームワークに基づき、スペクトル的、確率的、ディープな方法に分類する。
• 散乱に基づく学習、一般化固有値問題、カーネル拡張を介してスペクトル的手法を導入し、フィッシャー-HSICおよびマージン最大化メトリック学習を含む。
• 近傍部分析（NCA）、ベイジアンメトリック学習、エントロピーおよび相互情報量を用いた情報理論的アプローチを含む確率的手法を提示する。
• 自己符号化器、コントラスト損失およびトリプレット損失関数を用いたシameseネットワーク、フィッシャー基準に基づくディープディスcriminant分析を用いたディープメトリック学習を詳細に説明する。
• 敵対的メトリック学習、リーマン多様体上での幾何的ディープメトリック学習、マルチスケールおよび連続的類似度スコアを用いた少数のサンプルからの学習といった高度なトピックをカバーする。
• 最近の技術として、マルチスケール特徴の集約と連続的類似度スコアを統合し、少数のサンプルからの一般化性能を向上させることを目的とする。

実験結果

リサーチクエスチョン

• RQ1 散乱と一般化固有値問題を用いたスペクトル的手法は、どのように効果的に距離メトリクスを学習することができるか？
• RQ2 NCA やベイジアンフレームワークのような確率的モデルは、分類のためのメトリック空間最適化において果たす役割は何か？
• RQ3 シameseネットワークやトリプレット損失を用いたディープメトリック学習アーキテクチャは、教師ありおよび少数のサンプルからの学習設定において、どのように効果的な表現学習を可能にするか？
• RQ4 カーネル拡張および幾何的拡張は、非線形および多様体構造を持つデータにおいて、どのようにメトリック学習を改善するか？
• RQ5 連続的類似度スコアとマルチスケール特徴学習は、どのように少数のサンプルからのメトリック学習性能を向上させるか？

主な発見

• フィッシャー-HSIC や RCA といったスペクトル的メトリック学習手法は、クラス間の散乱を最大化しクラス内の散乱を最小化することで、効果的に距離メトリクスを最適化する。
• 近傍部分析（NCA）のような確率的アプローチは、最近隣接の確率的プロセスとして分類をモデル化することで、強固なメトリック学習を達成する。
• トリプレット損失を用いたディープシameseネットワークは、相対的比較を通じて判別的な埋め込みを学習することで、少数のサンプルからの学習において最先端の性能を達成する。
• マルチスケールメトリック学習は、事前学習済みネットワークの複数の層からの特徴を組み合わせることで、特徴階層の活用を強化し、少数のサンプルからの一般化性能を向上させる。
• メトリック学習における連続的類似度スコアは、二値の類似度ラベルよりも滑らかな最適化とより優れた一般化性能を可能にする。
• リーマン多様体上での幾何的ディープメトリック学習は、特に非ユークリッド空間において、内在的なデータ構造をより正確にモデル化可能にする。