[論文レビュー] Parametric Local Metric Learning for Nearest Neighbor Classification

Jun Wang, Adam Woźnica+1 more|arXiv (Cornell University)|Sep 13, 2012

Face and Expression Recognition参考文献 19被引用数 67

ひとこと要約

本稿では、局所的メトリックをアンカーポイントからの基本メトリックの線形結合としてモデル化し、多様体制約による正則化を通じて、データ多様体上での滑らかでパrametricなメトリック行列関数を学習する、パラメトリック局所的メトリック学習（PLML）を提案する。PLMLは、大規模データセットにおいて、最先端のグローバルおよび局所的メトリック学習手法および自動カーネル選択を施したSVMを大きく上回る性能を発揮する。

ABSTRACT

We study the problem of learning local metrics for nearest neighbor classification. Most previous works on local metric learning learn a number of local unrelated metrics. While this "independence" approach delivers an increased flexibility its downside is the considerable risk of overfitting. We present a new parametric local metric learning method in which we learn a smooth metric matrix function over the data manifold. Using an approximation error bound of the metric matrix function we learn local metrics as linear combinations of basis metrics defined on anchor points over different regions of the instance space. We constrain the metric matrix function by imposing on the linear combinations manifold regularization which makes the learned metric matrix function vary smoothly along the geodesics of the data manifold. Our metric learning method has excellent performance both in terms of predictive power and scalability. We experimented with several large-scale classification problems, tens of thousands of instances, and compared it with several state of the art metric learning methods, both global and local, as well as to SVM with automatic kernel selection, all of which it outperforms in a significant manner.

研究の動機と目的

• 多数の局所的メトリックを独立に学習することに起因する過学習を是正すること。
• データ多様体に適応した滑らかで効果的なメトリック行列関数を学習することで、近隣探索分類の予測性能を向上させること。
• 大規模分類問題における局所的メトリックのスケーラブルかつ効率的な学習を可能にすること。
• 従来の局所的メトリック学習手法で一般的な強い生成的仮定や感受性の高いパrameter設定への依存を軽減すること。

提案手法

• アンカーポイントに中心を持つ基本メトリック行列の線形結合として、各インスタンスの局所的メトリックをパラメータ化する。このパラメータ化は、近似誤差の境界に基づいて導出される。
• 多様体正則化を用いて、データ多様体上での線形結合係数の滑らかな変化を強制し、局所的メトリックが連続的に変化することを保証する。
• メトリック行列に正定値（PSD）制約を課した制約付き最適化問題として学習問題を定式化する。
• FISTA（高速な一次順序最適化アルゴリズム）を用い、2段階の学習プロセス（まず係数、次にアンカーメトリック行列）を効率的に解く。
• 三重項制約と多様体正則化を組み込んだ損失関数を最小化することで、メトリック行列関数を学習する。
• 2段階最適化を適用する：まず線形結合の係数を最適化し、次にアンカーポイントにおける基本メトリックを最適化する。

実験結果

リサーチクエスチョン

• RQ1 データ多様体上でのパラメトリックで滑らかなメトリック行列関数は、局所的メトリック学習における一般化性能を向上させ得るか？
• RQ2 独立なメトリック学習と比較して、多様体正則化は局所的メトリック学習における過学習を効果的に低減するか？
• RQ3 大規模データセットにおいて、PLMLの性能は最先端のグローバルおよび局所的メトリック学習手法と比べてどの程度か？
• RQ4 基本メトリックの数がPLMLの予測性能に及ぼす影響はどの程度か？
• RQ5 PLMLは、多様な分類問題において、自動カーネル選択を施したSVMと同等またはそれを上回る性能を達成できるか？

主な発見

• PLMLは6つのデータセットにおいて37点の最高総合得点を記録し、SVMと自動カーネル選択を施した手法（32.5点）を含む、他のすべての手法を上回った。
• PLMLは、6つのデータセットのうち5つにおいて、グローバルメトリック学習手法（LMNN、BoostMetric、SML）を顕著に上回り、Isoletデータセットでのみわずかな精度低下を示した。
• CBLMLおよびLMNN-MM（滑らかさ制約なしの2つの局所的手法）と比較して、PLMLはすべてのデータセットで統計的に有意に優れており、多様体正則化が過学習を効果的に低減していることを示している。
• PLMLの性能は、基本メトリック数の増加に伴い向上し、データを適切にモデル化できるようになると飽和するが、過学習は見られなかった。これに対してCBLMLは、基本メトリック数の増加に伴い性能が低下した。
• MNISTベースの数字分類タスクでは、PLMLが82.76%の精度を達成し、CBLML（82.59%）、LMNN-MM（82.56%）、GLML（82.51%）を上回った。また、視覚的に滑らかでより良いフィットを示す局所的メトリックが得られた。
• PLMLは、ターゲット位置の手動チューニングや強いモデル仮定を必要とせず、GLML や最小二乗法などの従来手法とは異なり、多様なデータセットで安定した性能を維持した。