[論文レビュー] Sample complexity of learning Mahalanobis distance metrics

Nakul Verma, Kristin Branson|arXiv (Cornell University)|May 11, 2015

Human Pose and Action Recognition参考文献 19被引用数 20

ひとこと要約

この論文は、教師ありマハラノビス距離尺度学習のPACスタイルの標本複雑性バウンドを確立し、構造的仮定がなされない限り一般化誤差が表現次元に比例することを示している。ノルム正則化を施した距離尺度学習アルゴリズムを導入し、データの内在的複雑性に適応することで、高ノイズ環境下での一般化性能を向上させた。ベンチマークデータセットを用いた実験でも検証された。

ABSTRACT

Metric learning seeks a transformation of the feature space that enhances prediction quality for the given task at hand. In this work we provide PAC-style sample complexity rates for supervised metric learning. We give matching lower- and upper-bounds showing that the sample complexity scales with the representation dimension when no assumptions are made about the underlying data distribution. However, by leveraging the structure of the data distribution, we show that one can achieve rates that are fine-tuned to a specific notion of intrinsic complexity for a given dataset. Our analysis reveals that augmenting the metric learning optimization criterion with a simple norm-based regularization can help adapt to a dataset's intrinsic complexity, yielding better generalization. Experiments on benchmark datasets validate our analysis and show that regularizing the metric can help discern the signal even when the data contains high amounts of noise.

研究の動機と目的

• PACスタイルの一般化バウンドに基づく教師あり距離尺度学習の標本複雑性を形式的に分析すること。
• 分布に関する仮定を一切行わない状況下で、標本複雑性がデータ次元および内在的構造にどのように依存するかを特定すること。
• データ分布の内在的複雑性に適応する正則化戦略を考案し、より良い一般化性能を達成すること。
• 理論的に導出されたバウンドをベンチマークデータセットにおける実験で検証すること。
• 距離尺度学習最適化におけるノルム正則化が、高ノイズレベルに対してどのようにロバストネスを向上させるかを示すこと。

提案手法

• 距離ベースと分類器ベースの2つの一般的なフレームワークを提案し、両者とも経験的リスク最小化に裏付けられている。
• 構造的仮定がなければ表現次元Dに依存することを示す、一致する上界と下界を導出する。
• 固定された複雑さの距離尺度に対して経験誤差とクラス内分散の両方を同時に最小化するバイアス・バリアンスバランス化アルゴリズムを導入する。
• ノルムに基づく正則化を距離尺度学習の目的関数に適用し、構造的リスク最小化問題として定式化する。
• シンメトライゼーションとチェインニング技術を用いたラデマッハおよびガウス型複雑度バウンドを用い、一般化誤差率を導出する。
• 複雑さdが異なる距離尺度クラスの和集合にユニオンバウンドを適用し、データセット依存の標本複雑性バウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 データ分布に関する仮定を一切行わない場合、表現次元Dが増加するに従い、マハラノビス距離尺度学習の標本複雑性はどのように変化するか？
• RQ2 元のデータ分布の内在的複雑性dを活用することで、標本複雑性を低減できるか？
• RQ3 距離尺度学習最適化基準におけるノルム正則化の効果は、一般化性能にどのように現れるか？
• RQ4 提案された正則化付き距離尺度学習アルゴリズムは、標準的なERMと比較して高ノイズ環境下でどのように性能を発揮するか？
• RQ5 理論的に導出された標本複雑性バウンドは、実際のベンチマークデータセット上で実証的に検証可能か？

主な発見

• データ分布に関する仮定がなければ、標本複雑性は表現次元Dに線形に依存する。
• 一致する上界と下界が確立され、一般ケースにおいてDに依存する必要性が裏付けられた。
• 内在的複雑性dを活用することで、標本複雑性はDではなくdに比例するようになり、よりタイトなバウンドが得られる。
• 提案されたノルム正則化付き距離尺度学習アルゴリズムは、標準的なERMよりも優れた一般化性能を達成しており、特に高ノイズ環境下で顕著である。
• ベンチマークデータセットにおける実験から、ノルム正則化が信号検出能力とノイズ耐性を向上させることを確認した。
• 理論的分析が実証的に検証され、正則化付きアルゴリズムがデータセットの内在的複雑性に効果的に適応していることが示された。