[論文レビュー] Geometric Mean Metric Learning

Pourya Habib Zadeh, Reshad Hosseini+1 more|arXiv (Cornell University)|Jul 18, 2016

Face and Expression Recognition参考文献 21被引用数 61

ひとこと要約

この論文は、対称正定値行列のリーマン多様体上での滑らかで厳密に凸な最適化問題として定式化される、ユークリッド距離学習の新規手法である幾何平均距離学習（Gmml）を提案する。行列の幾何平均を用いることで閉形式解が得られ、LMNN や ITML よりも桁違いに高速な計算が可能であり、ベンチマークデータセット上での分類精度は同等またはそれを上回る。

ABSTRACT

We revisit the task of learning a Euclidean metric from data. We approach this problem from first principles and formulate it as a surprisingly simple optimization problem. Indeed, our formulation even admits a closed form solution. This solution possesses several very attractive properties: (i) an innate geometric appeal through the Riemannian geometry of positive definite matrices; (ii) ease of interpretability; and (iii) computational speed several orders of magnitude faster than the widely used LMNN and ITML methods. Furthermore, on standard benchmark datasets, our closed-form solution consistently attains higher classification accuracy.

研究の動機と目的

• 計算的に効率的で幾何学的に解釈可能な、新しい原理的距離学習手法の開発。
• 対称正定値行列の多様体上での制約なしで滑らかで厳密に凸な最適化問題として距離学習を定式化すること。
• 類似度行列と不類似度行列の幾何平均から自然に導かれる閉形式解を導出することで、グローバル最適性と解釈可能性を保証すること。
• 分類精度と計算効率の観点から、LMNN や ITML などの最先端手法と比較して本手法の性能を検証すること。
• 高次元で多数の訓練サンプルを含む大規模データセットにおいて、スケーラビリティとロバストネスを示すこと。

提案手法

• 本手法は、対称正定値（SPD）行列のリーマン多様体上での幾何平均に基づく目的関数の最小化として距離学習を定式化する。
• 経験的類似度行列と不類似度行列の行列幾何平均から導かれる閉形式解を導入し、一意性と安定性を保証する。
• 最適化は滑らかで厳密に凸な問題として定式化され、反復的ソルバーを必要とせず、一意なグローバル最小解が保証される。
• リーマン幾何学を活用して自然に SPD 制約を組み込み、解をデータ由来の行列の重み付き幾何平均として解釈する。
• 病的な条件や逆行列が存在しない類似度行列に対応するため、λ=0.1 の Tikhonov 型正則化を用いた正則化バージョンを導入する。
• MATLAB で効率的に実装され、ハイパーパramータチューニングのための5分割交差検証を用いたk-NN分類で評価されている。

実験結果

リサーチクエスチョン

• RQ1 距離学習を幾何学的に原理的かつ整合的に定式化することで、解釈可能で計算的に効率的な閉形式解が得られるか？
• RQ2 行列幾何平均に基づく閉形式距離学習手法は、LMNN や ITML のような反復的アプローチと比較して、分類精度においてどのように差をつけるか？
• RQ3 本手法は、データの次元数や訓練サンプル数の増加に対してどの程度スケーラブルか？
• RQ4 SPD 多様体上での幾何平均定式化は、他の凸最適化に基づく距離学習手法と比較して、本質的にロバストで安定していると見なせるか？
• RQ5 類似度行列がランク落ちしている、または逆行列が存在しない場合でも、本手法は高い精度を維持できるか？

主な発見

• Gmml は、Letters、USPS、MNIST、Isolet といった全テストデータセットで、LMNN や ITML と同等またはそれ以上の分類誤差率を達成した。
• Letters および USPS データセットでは、LMNN の最良性能を再現したが、一方のデータセットでは顕著に上回り、もう一方では下回った。
• Isolet および MNIST データセットでは、1000c(c−1) 個のデータペアを用いることで、Gmml の精度がそれぞれ約1%および0.5%向上し、FlatGeo を上回った。
• Gmml は、LMNN や ITML よりも最大3桁の高速化が達成され、Letters では0.0137秒、MNIST では1.6795秒の実行時間であったのに対し、LMNN は400秒以上を要した。
• 全データセットにわたり、Gmml は他の手法（FlatGeo や ITML を含む）の中で最も高速な実行時間を維持した。
• λ=0.1 の正則化バージョンの Gmml は、MNIST における逆行列が存在しない類似度行列に対しても安定した性能を発揮した。