[論文レビュー] Fisher and Kernel Fisher Discriminant Analysis: Tutorial

Benyamin Ghojogh, Fakhri Karray+1 more|arXiv (Cornell University)|Jun 22, 2019

Face and Expression Recognition参考文献 36被引用数 17

ひとこと要約

このチュートリアルは、フィッシャー判別分析（FDA）およびカーネルFDAの包括的な概要を提示し、その数学的基盤、レイリー商による最適化、および線形判別分析（LDA）との同等性を説明する。投影、散乱行列、部分空間の次元、特異性に対するロバスト性、顔認識および行動認識への応用をカバーし、AT&T顔データセットを用いたシミュレーションにより、FDAがPCAに比べて分類分離性に優れていることを示している。

ABSTRACT

This is a detailed tutorial paper which explains the Fisher discriminant Analysis (FDA) and kernel FDA. We start with projection and reconstruction. Then, one- and multi-dimensional FDA subspaces are covered. Scatters in two- and then multi-classes are explained in FDA. Then, we discuss on the rank of the scatters and the dimensionality of the subspace. A real-life example is also provided for interpreting FDA. Then, possible singularity of the scatter is discussed to introduce robust FDA. PCA and FDA directions are also compared. We also prove that FDA and linear discriminant analysis are equivalent. Fisher forest is also introduced as an ensemble of fisher subspaces useful for handling data with different features and dimensionality. Afterwards, kernel FDA is explained for both one- and multi-dimensional subspaces with both two- and multi-classes. Finally, some simulations are performed on AT&T face dataset to illustrate FDA and compare it with PCA.

研究の動機と目的

• 研究者および実務家向けに、フィッシャー判別分析（FDA）およびそのカーネル拡張について詳細なチュートリアルを提供すること。
• 散乱行列、投影、レイリー商による最適化を含む、FDAの数学的定式化を明確にすること。
• 文献において一般的に混乱を招く、FDAと線形判別分析（LDA）との同等性を確立すること。
• 特異な散乱行列に対処し、一般化性能を向上させるロバストなFDAの変種を導入すること。
• AT&T顔データセットを用いたシミュレーションおよび顔認識やジェスチャー認識などの実世界の応用を通じて、FDAおよびカーネルFDAの有効性を示すこと。

提案手法

• p個のベクトルで張られる部分空間への射影問題としてFDAを定式化し、再構成誤差を最小化するための直交射影を用いる。
• 一般化されたレイリー・リッツ商を介して最適な射影方向を導出し、クラス間およびクラス内散乱行列を含む固有値問題に帰着させる。
• 2クラスおよび多クラス問題における散乱行列（S_BおよびS_W）の概念を導入し、これらの行列のランクによって次元が制限されることを示す。
• 正定値仮定のもとで、一般化固有値問題を標準固有値問題に変換するためのコレスキー分解を適用し、計算を効率化する。
• 高次元で標本数が少ない状況における特異性に対処するため、クラス内散乱行列を正則化することでロバストなFDAを提案する。
• 異種の特徴次元を有するデータに対応するため、複数のFDA部分空間を組み合わせたアンサンブル手法「フィッシャー・フォレスト」を導入する。

実験結果

リサーチクエスチョン

• RQ1 フィッシャー判別分析（FDA）は、最適な方向選択を伴う部分空間への射影問題としてどのように数学的に定式化されるか？
• RQ2 FDAと線形判別分析（LDA）との関係は何か？なぜそれらは同等であるのか？
• RQ3 カーネルFDAは、カーネルトリックおよび再生核ヒルベルト空間を用いて、非線形特徴空間へどのように拡張されるか？
• RQ4 散乱行列が特異となる条件は何か？ロバストなFDAはこの問題をどのように緩和するか？
• RQ5 分類分離性という観点から、PCAに比べてFDAはどのように優れているか？実データセットにおける実証的証拠は何か？

主な発見

• FDAとLDAは数学的に同等であり、両者ともクラス間およびクラス内散乱行列を含む同一の一般化固有値問題を解く。
• FDAにおける最適な射影方向は、一般化固有値問題 S_B w = λ S_W w を解くことで得られ、このときwはクラス分離性を最大化する方向である。
• FDAの部分空間の次元は、クラス間散乱行列のランクによって制限され、c個のクラスに対して最大でc−1となる。
• AT&T顔データセットを用いたシミュレーションにより、FDAは特に低次元射影においてPCAよりも優れたクラス分離性を達成することが示された。
• クラス内散乱行列の正則化によって得られるロバストなFDAは、高次元で標本数が少ない状況における特異な散乱行列に対処するのに効果的である。
• 複数の低次元射影を異なる特徴集合で組み合わせるフィッシャー・フォレスト（FDA部分空間のアンサンブル）は、異種データに対して性能を向上させる。