[論文レビュー] Learning Local Invariant Mahalanobis Distances

Ethan Fetaya, Shimon Ullman|arXiv (Cornell University)|Feb 4, 2015

Image Retrieval and Classification Techniques参考文献 24被引用数 8

ひとこと要約

本論文は、回転や平行移動などの変換に対して頑健性を示す、局所的不変マハラノビス距離を学習するための効率的な手法を提案する。負例のみを用いて問題を二次計画法として定式化し、MNIST および LFW でそれぞれ 1.26% および 19.48% の誤差率を達成し、最先端の性能を発揮する。また、グローバル手法が失敗する弱教師あり設定でも適用可能である。

ABSTRACT

For many tasks and data types, there are natural transformations to which the data should be invariant or insensitive. For instance, in visual recognition, natural images should be insensitive to rotation and translation. This requirement and its implications have been important in many machine learning applications, and tolerance for image transformations was primarily achieved by using robust feature vectors. In this paper we propose a novel and computationally efficient way to learn a local Mahalanobis metric per datum, and show how we can learn a local invariant metric to any transformation in order to improve performance.

研究の動機と目的

• 回転や平行移動などの変換に対して局所的不変性を扱えない、グローバルなマトリクス学習手法の限界を是正すること。
• ラベル付きデータを必要とせず、負例のみを活用することで、各データポイントに対して一意のマハラノビス距離を計算的に効率的に学習する手法を開発すること。
• データの変換（例：平行移動、回転）に関する事前知識を局所的マトリクス学習に統合し、頑健性と性能を向上させること。
• 各クラスのラベルが与えられていない正例と負例のセットしか利用できない弱教師ありシナリオにおいてもマトリクス学習を可能にすること。

提案手法

• 局所的マハラノビス距離学習を半正定値計画法として定式化し、その後、コストの高い行列分解を回避するため二次計画法に再定式化する。
• 2次テイラー近似を用いて、局所的距離をマハラノビス距離としてモデル化することの妥当性を裏付ける。これは、潜在的な距離関数の滑らかさを仮定している。
• 変換（例：シフトされた画像）に対する不変性を実現するため、局所的マトリクスを、元のデータポイントの変換版が元と近くなるように制約する。
• 各局所的マトリクスを負例のみで訓練する弱教師あり学習スキームを採用し、負例セットにおける正例ラベルの必要性を排除する。
• YALMIP を介して、1次最適化法（例：SCS）を用いて最適化問題を解き、従来の半正定値計画法ソルバーより顕著な高速化を達成する。
• k=3 を用いて k-NN 分類に学習済み距離関数を適用し、最近傍点を同定する。

実験結果

リサーチクエスチョン

• RQ1 負例セットにクラスラベルがなくても、負例のみを用いて局所的マハラノビス距離を効率的に学習可能か？
• RQ2 データ変換（例：平行移動、回転）に関する事前知識をどのように局所的マトリクス学習に統合し、不変性を向上させられるか？
• RQ3 弱教師あり設定において、局所的不変マハラノビス距離がグローバルまたはエグジンプレベース手法を上回るか？
• RQ4 二次計画法による局所的マトリクス学習は、半正定値計画法と比較して顕著な計算的利点を示すか？
• RQ5 変換に対する不変性は、MNIST や LFW といった困難なベンチマークでどれほど性能向上に寄与するか？

主な発見

• MNIST データセットでは、提案手法の局所的不変マハラノビス距離法が 1.26% のテスト誤差率を達成し、エグジンプレ-SVM（1.75%）を上回り、最先端の MLMNN 法と同等の性能を示した。
• 標準的なエグジンプレ-SVM よりも顕著に優れており、データ拡張を施した二次計画法SVM（1.50%誤差）ですら、負例のみを用いた本手法に劣っている。
• LFW データセットでは 19.48% の誤差率を達成し、コサイン類似度（30.57%）やエグジンプレ-SVM（26.90%）を大きく上回り、顔認識分野における強力な一般化性能を示した。
• 計算効率の妥当性が裏付けられた：二次計画法として解いた場合の所要時間は 545±74 秒であり、半正定値計画法の 1152±417 秒と比較して 2 倍以上の高速化を達成した。
• 標準的な局所的マハラノビス距離やデータ拡張付き二次計画法SVMよりも、本手法が優れた性能を示した。これは、不変性のインダクティブバイアスが頑健性に不可欠であることを示している。
• LMNN や MLMNN といったグローバルマトリクス学習手法が失敗する状況（例：1つの正例とラベルなしの負例集合のみ）においても、本手法が適用可能である。