[論文レビュー] Learning Neighborhoods for Metric Learning

Jun Wang, Adam Woźnica+1 more|arXiv (Cornell University)|Jun 28, 2012

Face and Expression Recognition参考文献 15被引用数 6

ひとこと要約

本稿では、距離行列とターゲット近傍構造を2段階の反復的プロセスで同時に最適化する、新しいメトリック学習フレームワーク、Learning Neighborhoods for Metric Learning (LNML) を提案する。インスタンスごとの近傍割り当てを学習することで（品質の高いインスタンスほど多くの近傍を割り当てる）、複数の分類データセットで最先端の性能を達成し、事前に固定された近傍構造を採用する従来のメトリック学習手法を上回る。

ABSTRACT

Metric learning methods have been shown to perform well on different learning tasks. Many of them rely on target neighborhood relationships that are computed in the original feature space and remain fixed throughout learning. As a result, the learned metric reflects the original neighborhood relations. We propose a novel formulation of the metric learning problem in which, in addition to the metric, the target neighborhood relations are also learned in a two-step iterative approach. The new formulation can be seen as a generalization of many existing metric learning methods. The formulation includes a target neighbor assignment rule that assigns different numbers of neighbors to instances according to their quality; `high quality' instances get more neighbors. We experiment with two of its instantiations that correspond to the metric learning algorithms LMNN and MCML and compare it to other metric learning methods on a number of datasets. The experimental results show state-of-the-art performance and provide evidence that learning the neighborhood relations does improve predictive performance.

研究の動機と目的

• 従来のメトリック学習手法が事前に計算された固定近傍構造に依存するという制限を解消すること。この固定近傍構造は分類性能を最適化するとは限らない。
• マハラノビス距離行列とターゲット近傍構造を同時に学習する統合的フレームワークの開発。
• インスタンスの品質に基づいて個々のインスタンスごとに異なる近傍サイズを許容することで、適応性と予測精度の向上。
• 近傍構造を学習することで、固定近傍仮定よりも優れた一般化性能が得られることを示すこと。

提案手法

• 2段階の反復的アルゴリズムを用いて、距離行列とターゲット近傍行列 P を同時に学習する最適化問題としてメトリック学習を定式化する。
• 完全単調行列を制約行列として用いる線形計画法の定式化により、近傍割り当てに対して整数 0-1 解を保証する。
• 分類性能への寄与度に基づき、品質の高いインスタンスに多くの近傍を動的に割り当てるターゲット近傍割り当てルールを導入する。
• LMNN や MCML といった標準的なメトリック学習アルゴリズムを、本フレームワークの具体例として再定式化し、LN-LMNN および LN-MCML を得る。
• メトリック学習の過程で進化する近傍関係をモデル化するためにソフトマックス関数を用い、動的近傍選択を可能にする。
• 交差検証を用いて近傍サイズパラメータをチューニングし、異なるデータセットで k=3 または k=5 のときが最適な性能を示すことが判明。

実験結果

リサーチクエスチョン

• RQ1 メトリック学習の過程でターゲット近傍構造を学習することで、固定近傍構造と比較して分類性能が向上するか？
• RQ2 インスタンスの品質に基づく動的近傍サイズ割り当てが、メトリック学習性能に与える影響は何か？
• RQ3 本手法が距離行列と近傍構造を同時に最適化することで、最先端のメトリック学習手法を上回るか？
• RQ4 近傍サイズが予測精度に与える影響は何か？また、異なるデータセット間で最適な値が存在するか？
• RQ5 本フレームワークは、LMNN や MCML といった既存のメトリック学習アルゴリズムを効果的に具体化できるか？

主な発見

• LN-LMNN(CV) は小規模データセットで総得点 22.0 を記録し、LMNN や他のベースラインを顕著に上回った。
• 大規模データセットでは LN-LMNN(CV) が総得点 41.5 を達成し、PCA+LMNN（33）と PCA+NCA（8.5）を上回り、優れた一般化性能を示した。
• Wine データセットでは LN-MCML が 96.07% の精度を達成したのに対し、MCML は 91.57% であり、4.5 パcentポイントの向上を示した。
• Sonar データセットでは LN-LMNN(CV) が 92.02% の精度を記録し、LMNN（81.25%）と NCA（81.73%）を顕著に上回った。
• McNemar検定の結果、LN-LMNN(CV) は 7 データセット中 5 データセットで LMNN を有意に上回り、勝利に関する p 値 < 0.05 を達成した。
• 本手法は MNIST や Letter といった多様なデータセットにおいても、対比較で最高得点を記録し、強固な性能を示した。