[論文レビュー] Dimensionality Reduction by Local Discriminative Gaussians

Nathan Parrish, Maya R. Gupta|arXiv (Cornell University)|Jun 18, 2012

Face and Expression Recognition参考文献 10被引用数 15

ひとこと要約

本稿では、局所的2次判別分析の交差検証誤差を最小化するため、1回の固有値分解を解くことで、高次元データへのスケーリングを効率的に行える教師あり線形次元削減手法であるローカル判別ガウス分布（LDG）を提案する。LDGは、分類精度において最先端の手法を上回り、転移学習の設定において分布シフトに対しても良好な一般化性能を示す。

ABSTRACT

We present local discriminative Gaussian (LDG) dimensionality reduction, a supervised dimensionality reduction technique for classification. The LDG objective function is an approximation to the leave-one-out training error of a local quadratic discriminant analysis classifier, and thus acts locally to each training point in order to find a mapping where similar data can be discriminated from dissimilar data. While other state-of-the-art linear dimensionality reduction methods require gradient descent or iterative solution approaches, LDG is solved with a single eigen-decomposition. Thus, it scales better for datasets with a large number of feature dimensions or training examples. We also adapt LDG to the transfer learning setting, and show that it achieves good performance when the test data distribution differs from that of the training data.

研究の動機と目的

• 局所的データ構造をモデル化することで分類性能を向上させる、スケーラブルな教師あり次元削減技術の開発。
• 既存の線形次元削減アプローチにおける反復的手法の計算非効率性の解決。
• 訓練データの分布とは異なるテストデータ分布に適応することで、効果的な転移学習を可能にすること。
• 局所的2次判別分析の交差検証誤差を、グローバル最適化目的関数で近似すること。
• 勾配降下法や反復ソルバを回避する、非反復的かつ1回の固有値分解による高い性能の達成。

提案手法

• LDGは、局所的2次判別分類器の交差検証誤差を近似する目的関数を定式化する。
• 各訓練点に対して局所的共分散行列を構築し、クラス内凝集性とクラス間分離性を局所的にモデル化する。
• 局所的なクラス内およびクラス間散乱行列を統合し、グローバル最適化問題に組み込む。
• 解は1回の一般化固有値分解により得られ、大規模データセットでも高速計算が可能になる。
• ドメインシフトを受けるテストデータに適応するため、局所的共分散推定を拡張することで転移学習に応用する。
• 隣接点の局所的判別可能性に基づいて重みを付与するカーネルベースのスムージング手法を用いる。

実験結果

リサーチクエスチョン

• RQ1 局所的2次判別分析の交差検証誤差を直接最小化する次元削減手法を設計可能か？
• RQ2 非反復的かつ1回の固有値分解アプローチで最先端の分類性能を達成可能か？
• RQ3 転移学習のシナリオにおいて、分布シフト下でもLDGはどのように性能を発揮するか？
• RQ4 反復最適化を回避することで、高次元データセットへの効率的スケーリングが可能か？
• RQ5 グローバル手法と比較して、局所的なクラス分離性のモデル化は一般化性能を向上させるか？

主な発見

• LDGは、ベンチマークデータセットにおいて、最先端の線形次元削減手法と比較して競争的または優れた分類精度を達成する。
• 1回の固有値分解に依存するため、反復最適化や勾配降下法の必要がなく、スケーラビリティが向上する。
• テストデータの分布が訓練データと異なる状況でも、強力な一般化性能を示し、転移学習における有効性を裏付けた。
• 局所的なクラス構造を効果的にモデル化し、類似および相違するデータポイント間の識別を向上させる。
• 実験結果から、LDA、LPP、LDA+LPPなどの手法と比較して、標準的および転移学習の両設定でLDGが優れた性能を示す。
• 高次元入力特徴に対しても高い性能を維持するため、スケーラビリティが確認された。