[論文レビュー] Two-Stage Metric Learning

Jun Wang, Ke Sun+3 more|arXiv (Cornell University)|May 12, 2014

Face and Expression Recognition参考文献 23被引用数 7

ひとこと要約

本論文は、固定されたアンカーポイントとの類似度を介してデータインスタンスを確率分布にマップする、二段階のメトリック学習フレームワークであるTwo-Stage Metric Learning (SBFIML) を提案する。その後、得られた統計多様体上のフィッシャー情報距離を用いて入力空間内の距離を定義する。この手法は、データ密度の変動に対して頑健であり、アンカーポイント多様体上で最大の識別性を発揮する。従来のメトリック学習手法およびSVMと比較して、有意に高い分類精度を達成する。

ABSTRACT

In this paper, we present a novel two-stage metric learning algorithm. We first map each learning instance to a probability distribution by computing its similarities to a set of fixed anchor points. Then, we define the distance in the input data space as the Fisher information distance on the associated statistical manifold. This induces in the input data space a new family of distance metric with unique properties. Unlike kernelized metric learning, we do not require the similarity measure to be positive semi-definite. Moreover, it can also be interpreted as a local metric learning algorithm with well defined distance approximation. We evaluate its performance on a number of datasets. It outperforms significantly other metric learning methods and SVM.

研究の動機と目的

• グローバルおよびローカルなメトリック学習手法の限界、特に柔軟性の欠如とデータ密度の変動に対する感受性の低さを解消すること。
• カーネル化されたメトリック学習とは異なり、類似度行列が正準半定値でなければならない必要がないメトリック学習アプローチの開発。
• 閉形式の式で表現可能な、解釈可能なローカルメトリック学習として定式化できる、明確で対称的な距離近似の提供。
• アンカーポイントの多様体上で距離の識別性を高めるとともに、関係のない次元を抑制することで、分類性能の向上。

提案手法

• データ空間内の固定されたアンカーポイント群との非負の類似度を計算することで、各入力インスタンスを確率分布にマップする。
• これらの確率分布が誘導する統計多様体上のフィッシャー情報距離を用いて、入力空間内の距離を定義する。
• フィッシャー情報から導かれるリーマン計量を用いて、データ密度の変動に対して頑健な新しい距離メトリクスの族を導出する。
• アンカーポイント多様体上で距離の識別性を最大にし、直交方向には距離をゼロに保つことで、関係のない次元の影響を効果的に排除する。
• メトリック学習問題を二段階のプロセスとして定式化する：(1) 単体空間への類似度ベースの埋め込み、(2) フィッシャー情報に基づく距離計算。
• 柔軟で正準半定値でない類似度関数を用いることで、多様なデータ多様体（例：ユークリッド空間、確率単体、超球面）への応用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 カーネル化されたメトリック学習の正準半定値制約を回避しつつも柔軟性を維持できるメトリック学習フレームワークは設計可能か？
• RQ2 近似ではなく、明確で対称的な距離関数として定式化できるローカルメトリック学習アプローチは可能か？
• RQ3 データ密度の変動に対して頑健な距離メトリクスは、低密度領域へのバイアスを回避できるか？
• RQ4 統計多様体上のフィッシャー情報に基づく距離学習は、最先端の手法と比較して分類性能を向上させることができるか？

主な発見

• SBFIMLは、多数のベンチマークデータセットにおいて、他のメトリック学習手法およびSVMと比較して顕著に優れた分類精度を達成する。
• SpliceおよびPendigitsデータセットにおいて、McNemar検定による有意差（p < 0.05）が確認され、SBMMLを有意に上回る。
• Pendigitsデータセットにおいて、χ² LMNN に対しても有意に優れた性能を示し、評価ランクで合計6.5ポイントの優位性を示した。
• 本手法は、データ密度の変動に対して頑健であり、低密度領域への目的関数バイアスを防止する。
• 誘導されたメトリクスは、アンカーポイント多様体上で最大の距離識別性を示し、直交方向には距離がゼロとなる。これにより、関係のない特徴量が効果的にフィルタリングされる。
• 提案手法は、閉形式で表現可能な対称的な距離近似を提供する。これは、従来のローカルメトリック学習手法とは異なり、非メトリック距離を生じさせる点で顕著に異なる。