[論文レビュー] Supervised LogEuclidean Metric Learning for Symmetric Positive Definite Matrices

Florian Yger, Masashi Sugiyama|arXiv (Cornell University)|Feb 12, 2015

Face and Expression Recognition参考文献 34被引用数 24

ひとこと要約

本稿では、リーマン多様体上のカーネル・ターゲット整合性（KTA）を用いて、対称正定値（SPD）行列の教師ありLogEuclidean距離学習手法を提案する。リーマン最適化により参照行列 $ G_{\text{KTA}} $ を最適化することで、EEGおよびテクスチャデータにおける最近傍分類の正確性が向上し、複数のベンチマークで標準的なユークリッド距離や他のリーマン距離を上回る性能を示した。

ABSTRACT

Metric learning has been shown to be highly effective to improve the performance of nearest neighbor classification. In this paper, we address the problem of metric learning for Symmetric Positive Definite (SPD) matrices such as covariance matrices, which arise in many real-world applications. Naively using standard Mahalanobis metric learning methods under the Euclidean geometry for SPD matrices is not appropriate, because the difference of SPD matrices can be a non-SPD matrix and thus the obtained solution can be uninterpretable. To cope with this problem, we propose to use a properly parameterized LogEuclidean distance and optimize the metric with respect to kernel-target alignment, which is a supervised criterion for kernel learning. Then the resulting non-trivial optimization problem is solved by utilizing the Riemannian geometry. Finally, we experimentally demonstrate the usefulness of our LogEuclidean metric learning algorithm on real-world classification tasks for EEG signals and texture patches.

研究の動機と目的

• ユークリッド幾何における非SPD補間のため、標準的なマハラノビス距離学習がSPD行列に適用された場合に生じる解釈不能な結果という限界を解消すること。
• 幾何的構造を保持し、腫れ効果（swelling effect）を回避するため、LogEuclidean距離に基づくSPD行列向けに特化した教師あり距離学習フレームワークを構築すること。
• 分類性能の向上を目的として、LogEuclidean距離の参照行列をカーネル・ターゲット整合性（KTA）を監視基準として最適化すること。
• SPD多様体上での非自明かつ制約付き最適化問題を解くために、リーマン最適化技術を活用すること。
• 実世界の分類タスク（EEG信号およびテクスチャパッチを含む）における本手法の実証的妥当性を検証すること。

提案手法

• 幾何的整合性を保ち、非SPD結果を回避するため、LogEuclidean距離を $ \delta_l(A,B) = \| \log A - \log B \|_\mathcal{F} $ としてパrameterizeする。
• カーネル・ターゲット整合性（KTA）最適化問題として距離学習を定式化し、カーネルとターゲット分類行列の類似性を最大化する。
• SPD多様体上でのリーマン最適化を用いて、参照行列 $ G $ の制約付き最適化を実行し、更新中も常にSPDを維持する。
• 一般化性能の向上を図るため、$ \bar{X}^{-1/2} $ を用いたデータホワイトニング変換を適用し、半教師ありキャリブレーションの選択肢を提供する。
• LogEuclidean距離が誘導するカーネルとターゲットラベルを一致させるKTA基準を最小化することで、参照行列 $ G $ を最適化する。
• 得られた $ G_{\text{KTA}} $ を最近傍分類におけるLogEuclidean距離の参照として使用する。

実験結果

リサーチクエスチョン

• RQ1 標準的なユークリッド距離と比較して、LogEuclidean距離における教師あり距離学習は、SPD行列の分類性能を向上させることができるか？
• RQ2 カーネル・ターゲット整合性による参照行列の最適化は、固定または経験的参照と比較して、より優れた一般化性能をもたらすか？
• RQ3 提案されたリーマン最適化フレームワークは、非凸かつ制約付きなSPD行列学習の性質をどのように処理するか？
• RQ4 本手法は、実世界のEEGおよびテクスチャ分類タスクにおいて、どの程度性能を向上させるか？
• RQ5 本手法は多クラスまたは大規模設定に拡張可能か？また、その際の計算的トレードオフは何か？

主な発見

• BCI コンペティション IV データセット 2a において、本手法は $ G_{\text{KTA}} $ を用いて平均71.99%の正答率を達成し、単位行列（70.29%）や他の参照選択を上回った。
• EEG分類において、9名の被験者中5名で正答率が向上し、全テスト距離の中で最高の平均正答率を記録した。
• Brodatzテクスチャデータセットでは、$ G_{\text{KTA}} $ を用いた平均分類正答率が80.17%に達し、ユークリッド距離（65.60%）や他のリーマン距離を顕著に上回った。
• 最適化された $ G_{\text{KTA}} $ を用いたLogEuclidean距離は、全被験者および全テクスチャペアにおいて常に1位または2位にランクインし、堅牢性と一般化性能を示した。
• データのホワイトニングステップとして $ \bar{X}^{-1/2} $ を用いた半教師あり手法は性能向上をもたらし、実応用における実用性を維持した。
• LogEuclidean距離の参照行列に対する教師あり最適化が、共分散行列などの高次元SPDデータにおいて顕著な性能向上をもたらすことが示された。