[論文レビュー] A Large Dimensional Study of Regularized Discriminant Analysis Classifiers

Khalil Elkhalil, Abla Kammoun+3 more|arXiv (Cornell University)|Nov 1, 2017

Bayesian Methods and Mixture Models被引用数 4

ひとこと要約

この論文は、ランダム行列理論を用いて、正則化線形判別分析（R-LDA）および正則化2次判別分析（R-QDA）の高次元漸近解析を提示し、誤分類確率がクラス統計と比 $ p/n $ に依存する決定論的極限に収束することを示している。主な貢献は、この極限の閉形式表現を導出し、有限標本における高次元設定での誤差を最小化する最適な正則化パラメータのチューニングを可能にすることである。

ABSTRACT

This article carries out a large dimensional analysis of standard regularized discriminant analysis classifiers designed on the assumption that data arise from a Gaussian mixture model with different means and covariances. The analysis relies on fundamental results from random matrix theory (RMT) when both the number of features and the cardinality of the training data within each class grow large at the same pace. Under mild assumptions, we show that the asymptotic classification error approaches a deterministic quantity that depends only on the means and covariances associated with each class as well as the problem dimensions. Such a result permits a better understanding of the performance of regularized discriminant analsysis, in practical large but finite dimensions, and can be used to determine and pre-estimate the optimal regularization parameter that minimizes the misclassification error probability. Despite being theoretically valid only for Gaussian data, our findings are shown to yield a high accuracy in predicting the performances achieved with real data sets drawn from the popular USPS data base, thereby making an interesting connection between theory and practice.

研究の動機と目的

• 次元 $ p $ と標本サイズ $ n $ がともに大きく、比 $ p/n $ が固定される高次元設定における正則化LDAおよびQDAの漸近的性能を分析すること。
• 異なる平均と分散をもつ一般のガウス混合モデルにおける誤分類確率の決定論的同等物を導出すること。
• 非自明な分類性能が現れるための、クラス平均および分散差の成長率の条件を同定すること。
• 理論的漸近的性質に基づいて、誤分類率の一貫した推定器を導出し、正則化パラメータ $ \gamma $ の最適チューニングを可能にすること。
• 合成データおよびUSPSデータセットを用いた実世界の実験を通じて理論的結果の妥当性を検証し、有限標本における分類誤差を正確に予測できることを示すこと。

提案手法

• 本分析では、ランダム行列理論（RMT）の道具を用いて、$ p, n \to \infty $ かつ $ p/n \to c \in (0, \infty) $ の二重漸近的設定におけるR-LDAおよびR-QDAの漸近的挙動を研究する。
• クラス平均および分散差の成長率にやや弱い仮定をおくことで、誤分類確率の極限に対する閉形式表現を導出する。
• R-LDAの場合、極限誤差はクラス平均の差と正則化パラメータ $ \gamma $ のみに依存し、必要な平均差は $ O(1) $ のオーダーである。
• R-QDAの場合、極限誤差は平均差（$ O(\sqrt{p}) $ のオーダーを要する）および分散差行列の固有値ノルムに依存し、平均と分散の両方の情報を併用していることを反映している。
• 二段階最適化手法を提案：まずG-推定量（ガウス分布に基づく）を用いて最適な $ \gamma $ を推定し、次に実データにおける交差検証またはテストにより精緻化する。
• G-推定量は合成データおよびUSPS実データで検証され、$ n_0 $ および $ p $ のさまざまな設定において、実験的誤差と強く一致していることが示された。

実験結果

リサーチクエスチョン

• RQ1 次元 $ p $ と標本サイズ $ n $ がともに大きく、比 $ p/n $ が固定されるとき、R-LDAおよびR-QDAの誤分類確率の漸近的挙動はいかなるものか？
• RQ2 R-LDAおよびR-QDAが非自明かつ非退化した分類性能を達成するための、クラス平均および分散行列の成長率の条件は何か？
• RQ3 正則化パラメータ $ \gamma $ は漸近的誤分類率にどのように影響を与えるか？また、理論的近似を用いて最適にチューニング可能か？
• RQ4 提案された誤分類率の理論的推定器は、実世界の高次元データにおける実際のテスト誤差を正確に予測できるか？
• RQ5 R-LDAとR-QDAは、高次元的漸近的設定において、クラス平均および分散情報の利用方針にどのような根本的な違いを示すか？

主な発見

• R-LDAおよびR-QDAの両者において、誤分類確率は、クラス統計と比 $ p/n $ のみに依存する決定論的極限にほとんど確実に収束する。この極限はランダム行列理論を用いて導出された。
• R-LDAはクラス平均差が $ O(1) $ のオーダーであれば完全分類を達成するが、R-QDAは非自明な性能を得るためには平均差が $ O(\sqrt{p}) $ のオーダーである必要がある。
• R-QDA分類器は平均差と分散差の両方を活用するが、その性能は分散差行列のスペクトルノルムに敏感であり、$ \sqrt{p} $ のオーダーで成長する必要がある。
• 提案された誤分類率のG-推定量は、USPSデータセットにおける実験的テスト誤差と非常に良く一致しており、$ n_0 $ および $ p $ の複数の設定で予測精度が検証された。
• USPSデータセットにおいて、二段階最適化手法により最適な $ \gamma $ が的確に特定され、$ n_0 = 400 $ および $ p = 100 $ のとき、R-QDAは最小テスト誤差 0.009 を達成した。
• 結果から、根本的な違いが明らかになった：R-LDAは主に平均差を活用するが、R-QDAは高次元的設定においてR-LDAを上回るには、平均と分散の両方の信号が強くなければならない。