[論文レビュー] Roweis Discriminant Analysis: A Generalized Subspace Learning Method

Benyamin Ghojogh, Fakhri Karray+1 more|arXiv (Cornell University)|Oct 11, 2019

Face and Expression Recognition参考文献 54被引用数 5

ひとこと要約

本稿では、固有値問題と一般化固有値問題を通じてPCA、FDA、SPCAを特別ケースとして統合する一般化された部分空間学習フレームワーク、Roweis判別分析（RDA）を提案する。長年の理論的差異を解明するため、表現論に基づく手法とカーネルトリックの違いを説明し、DSDA（二重教師付き判別分析）やカーネルRDAといった新規手法を提案する。

ABSTRACT

We present a new method which generalizes subspace learning based on eigenvalue and generalized eigenvalue problems. This method, Roweis Discriminant Analysis (RDA), is named after Sam Roweis to whom the field of subspace learning owes significantly. RDA is a family of infinite number of algorithms where Principal Component Analysis (PCA), Supervised PCA (SPCA), and Fisher Discriminant Analysis (FDA) are special cases. One of the extreme special cases, which we name Double Supervised Discriminant Analysis (DSDA), uses the labels twice; it is novel and has not appeared elsewhere. We propose a dual for RDA for some special cases. We also propose kernel RDA, generalizing kernel PCA, kernel SPCA, and kernel FDA, using both dual RDA and representation theory. Our theoretical analysis explains previously known facts such as why SPCA can use regression but FDA cannot, why PCA and SPCA have duals but FDA does not, why kernel PCA and kernel SPCA use kernel trick but kernel FDA does not, and why PCA is the best linear method for reconstruction. Roweisfaces and kernel Roweisfaces are also proposed generalizing eigenfaces, Fisherfaces, supervised eigenfaces, and their kernel variants. We also report experiments showing the effectiveness of RDA and kernel RDA on some benchmark datasets.

研究の動機と目的

• PCA、FDA、SPCAといった既存の線形部分空間学習手法を、固有値問題に基づく一貫した一般化フレームワークに統合すること。
• 既存手法に見られる理論的不整合、例えばSPCAが回帰にも対応できるのに対しFDAは分類に限定される理由、およびFDAに双対形式がない理由を解消すること。
• カーネルの使用方法における根本的差異を説明すること：なぜカーネルPCAとカーネルSPCAはカーネルトリックを用いるが、カーネルFDAは表現論に依存するのか。
• DSDA（二重教師付き判別分析）を含む新たな変種の提案。DSDAは最適化においてラベル情報を2度使用し、分類の分離性を向上させる。また、非線形設定への拡張を可能にするカーネルRDAの開発。
• 顔認識手法の一般化として、エイジンフェイスとファイシャーフェイスの拡張としてのRoweisフェイスとカーネルRoweisフェイスを導入すること。

提案手法

• RDAは一般化固有値問題として定式化され、PCA、SPCA、FDAが一様な最適化フレームワークを通じて特別ケースとして包含される。
• ラベルの平均とデータ分散の重み付けスキームにパrameterを導入した無限のアルゴリズム族を導入し、柔軟な部分空間学習を可能にする。
• DSDA（二重教師付き判別分析）は、最適化においてラベル情報が2回使用される極端なケースとして導出され、クラス分離性が向上することが示された。
• カーネルRDAは、双対RDAと表現論を併用して開発され、カーネルPCA、カーネルSPCA、カーネルFDAを統一的な非線形フレームワークに一般化する。
• カーネル関数を用いてデータを特徴空間にマップし、数学的に妥当な場合に限りカーネルトリックを適用する。これにより、カーネルFDAにカーネルトリックが適用されない理由が説明される。
• 理論的分析では、表現論と行列分解を用いて、双対形式が存在する条件やカーネルトリックが適用可能な条件を導出する。

実験結果

リサーチクエスチョン

• RQ1 なぜSPCAは分類と回帰の両方に使用可能なのに対し、FDAは分類に限定されるのか？
• RQ2 なぜPCAとSPCAには双対形式があるのに対し、FDAにはないのか？
• RQ3 なぜカーネルPCAとカーネルSPCAはカーネルトリックを用いるが、カーネルFDAは表現論に依存するのか？
• RQ4 PCAがデータ再構築において最適な線形手法である理論的根拠は何か？
• RQ5 PCA、FDA、SPCA、およびそれらのカーネル変種を統一的に一般化するフレームワークを構築可能か？ また、それらの構造的差異を説明できるか？

主な発見

• RDAは、PCA、SPCA、FDAを単一の一般化固有値問題の特別ケースとして成功裏に統合し、それらの背後にある共通の数学的構造を示した。
• DSDA（二重教師付き判別分析）は、RDAの極端なケースとして提案され、ラベル情報を2度使用する手法として、ベンチマークデータセット上で優れた性能を示した。
• カーネルRDAは、表現論と双対形式を用いて導出され、カーネルPCA、カーネルSPCA、カーネルFDAを統一的な非線形フレームワークに一般化した。
• 理論的分析により、散乱行列の構造上、FDAにはカーネルトリックが適用できないことが確認され、代わりに表現論が必要である理由が説明された。
• ベンチマークデータセットにおける実験では、RDAおよびカーネルRDAが分類精度と再構築誤差の両面で最先端の手法と同等またはそれを上回る性能を示した。
• エイジンフェイスとファイシャーフェイスの拡張として、RoweisフェイスとカーネルRoweisフェイスが導入され、顔認識タスクへの適用可能性が実証された。