[論文レビュー] Dimensionality Reduction with Subspace Structure Preservation

Devansh Arpit, Ifeoma Nwogu+1 more|arXiv (Cornell University)|Dec 7, 2014

Face and Expression Recognition参考文献 11被引用数 5

ひとこと要約

本論文は、K 個のクラスに対して正確に 2K 個の射影ベクトルを用いることで、多クラスデータにおける部分空間の独立性を理論的に保つ、新しい次元削減手法を提案する。この手法は、射影後も各クラスが別々の独立部分空間に保たれることを保証し、主成分ベクトルと正規直交射影平面を用いて部分空間構造を保持することで、顔認識データセットにおいて最先端の分類精度を達成する。

ABSTRACT

Modeling data as being sampled from a union of independent subspaces has been widely applied to a number of real world applications. However, dimensionality reduction approaches that theoretically preserve this independence assumption have not been well studied. Our key contribution is to show that $2K$ projection vectors are sufficient for the independence preservation of any $K$ class data sampled from a union of independent subspaces. It is this non-trivial observation that we use for designing our dimensionality reduction technique. In this paper, we propose a novel dimensionality reduction algorithm that theoretically preserves this structure for a given dataset. We support our theoretical analysis with empirical results on both synthetic and real world data achieving extit{state-of-the-art} results compared to popular dimensionality reduction techniques.

研究の動機と目的

• 多クラスデータにおける部分空間の独立性を明示的に保つ次元削減手法の不足に対処すること。
• 2K 個の射影ベクトルがK個の独立部分空間の独立性を保つのに十分であることを理論的に確立すること。
• データの破損に対しても部分空間構造を維持できる、効率的で頑健なアルゴリズムの設計。
• 実世界のデータセット上で本手法を経験的に検証し、PCA や LDA、ランダム射影と比較して優れた性能を示すこと。

提案手法

• 本手法は定理1に基づく。定理1は、任意の2つの不交差部分空間に対して、各部分空間が射影空間内で直線に収縮する2次元射影平面が存在することを示している。
• コアとなるアイデアは、K個の部分空間へと拡張され、2K 個の正規直交射影ベクトルを用いることで、射影後も各クラス部分空間が独立のまま保たれることを保証する。
• 反復的アルゴリズムにより、部分空間間の主成分ベクトルペアに一致するように射影行列を計算し、部分空間の分離度を最大化する。
• スパースコーディングに基づく最適化ステップを組み込むことで、データの破損に対しても頑健であるように設計されている。
• 射影行列は部分空間間の角度構造を保つように学習され、クラス間分離性が維持される。
• 射影行列の生成にはランダム化アプローチが用いられ、複数回の実行により安定性を確保し、平均精度と標準偏差を報告する。

実験結果

リサーチクエスチョン

• RQ1 固定された数の射影ベクトルで、独立部分空間の和におけるK個の部分空間の独立性を保てるか？
• RQ2 幾何的近接性ではなく、部分空間構造そのものを明示的に保つ次元削減手法を構築することは可能か？
• RQ3 K 個のクラスに対して部分空間の独立性を維持するために必要な最小の射影ベクトル数は何か？
• RQ4 PCA や LDA、ランダム射影といった標準的手法と比較して、本手法は分類性能の維持においてどのように優れているか？
• RQ5 データの破損や異なるデータ分割に対して、本手法は高い精度を維持できるか？

主な発見

• Extended Yale B データセット（50%-50% 分割）では、本手法が 98.06% ± 0.18 の精度を達成し、PCA（92.54%）、LDA（83.68%）、Reg-LDA（95.77%）を顕著に上回った。
• 同じデータセットで 70%-30% 分割を用いた場合、本手法は 99.45% ± 0.20 の精度を達成し、RP（94.72% ± 0.66）を含むすべてのベースラインを上回った。
• AR データセットでは、本手法が 92.18% ± 0.08 の精度を達成し、PCA（85.00%）と RP（84.76% ± 1.36）を上回った。LDA はクラス内共分散行列が退化しているため適用不可であった。
• CMU PIE の 68 クラスのサブセットでは、本手法が 93.65% ± 0.08 の精度を達成し、PCA（87.76%）と LDA（86.71%）を上回った。
• CMU PIE の 10 クラスの小さなサブセットでは、20次元という低次元でも本手法が 99.07% ± 0.09 の精度を達成し、PCA（97.06%）と LDA（95.88%）を上回った。
• 本手法は、すべてのデータセットと分割において一貫して最先端の性能を達成し、データサイズの変動やデータの破損に対しても頑健でスケーラブルであることが示された。