[論文レビュー] Low-rank geometric mean metric learning

Mukul Bhutani, Pratik Jawanpuria+2 more|arXiv (Cornell University)|Jun 14, 2018

Face and Expression Recognition参考文献 7被引用数 10

ひとこと要約

本稿では、幾何平均距離学習（GMML）の低ランク版であるLR-GMMLを提案する。この手法は、グラスマン多様体上の最適化により、低次元部分空間とマハラノビス距離を同時に学習する。入力次元に線形にスケーリングされ、標準的なGMMLのO(d³)のコストを回避する一方で、フルランクGMMLと同等の性能を達成する。

ABSTRACT

We propose a low-rank approach to learning a Mahalanobis metric from data. Inspired by the recent geometric mean metric learning (GMML) algorithm, we propose a low-rank variant of the algorithm. This allows to jointly learn a low-dimensional subspace where the data reside and the Mahalanobis metric that appropriately fits the data. Our results show that we compete effectively with GMML at lower ranks.

研究の動機と目的

• 高次元空間におけるフルランクマハラノビス距離学習のスケーラビリティの問題に対処すること。
• データがその部分空間内に適合するように、低次元部分空間とマハラノビス距離を同時に学習すること。
• 幾何平均距離学習（GMML）フレームワークを低ランク構造に適応させ、計算効率を向上させること。
• 低次元部分空間で動作しながらも、フルランクGMMLと同等の分類精度を維持すること。
• 低ランクSPD行列のグラスマン多様体上でのリーマン最適化を用いて、スケーラブルな距離学習を実現すること。

提案手法

• R^d内のr次元部分空間のグラスマン多様体上で距離学習を最適化問題として定式化する。
• 固定ランク分解A = UBU^Tを用い、U ∈ R^{d×r}は正規直交で、B ∈ R^{r×r}は正定値である。
• フルランクSPD行列Aを低ランク分解に置き換えることで、計算コストを削減する。
• 変換された類似度および不類似度行列の重み付き幾何平均としてBの閉形式解を用いる。
• Manoptツールボックスを用いて、グラスマン多様体上の共役勾配法で目的関数を最適化する。
• Uに関するコスト関数のリーマン勾配を導出することで、効率的な最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 マハラノビス距離の低ランク近似は、計算コストを削減しつつ性能を維持できるか？
• RQ2 異なるデータセットおよびランクにおいて、低ランクGMMLの性能はフルランクGMMLと比べてどうか？
• RQ3 グラスマン多様体上での最適化は、部分空間と距離を同時に効果的に学習できるか？
• RQ4 低ランクアプローチは、クラスの不均衡や異なるデータ分布に対してもロバスト性を保つことができるか？
• RQ5 提案手法の計算複雑度は、標準的なGMMLと比べてどうか？

主な発見

• LR-GMMLは、複数のUCIデータセットにおいて、低ランクでさえもフルランクGMMLと同等の分類誤差率を達成する。
• 本手法は、データペア数nに線形にスケーリングされ、標準的なGMMLのO(d³)のコストを回避する。
• ランクrにおいて、計算コストはO(ndr + nr² + dr² + r³)であり、高次元データに対して効率的である。
• t = 0.5の場合、定式化は元のGMMLの目的関数に還元され、ベースラインとの一貫性が保証される。
• アルゴリズムは部分空間基底の直交変換に対して不変性を保ち、グラスマン多様体上での幾何的正しさが確認される。
• 実験結果から、LR-GMMLは特に低ランク設定において、常にGMMLを上回るか同等の精度を達成することが示された。