[論文レビュー] Quadratic Discriminant Analysis under Moderate Dimension

Qing Yang, Guang Cheng|arXiv (Cornell University)|Aug 29, 2018

Bayesian Methods and Mixture Models参考文献 18被引用数 4

ひとこと要約

本稿は、次元 $p$ が標本サイズ $n$ に比例して増加する中程度次元の設定における2次判別分析（QDA）を調査する。標準的な標本QDAが $p/n \to c \in (0,1)$ のとき、ランダムな推測に劣化することを明らかにし、次元の影響をスケーリングおよびシフト調整によって適応的に補正する一般化QDAを提案する。この手法は、確率的行列理論と分割統治型スクリーニング手法を用いて、'容易'および'困難'な状況の両方でほぼ最適な性能を達成する。

ABSTRACT

Quadratic discriminant analysis (QDA) is a simple method to classify a subject into two populations, and was proven to perform as well as the Bayes rule when the data dimension p is fixed. The main purpose of this paper is to examine the empirical and theoretical behaviors of QDA where p grows proportionally to the sample sizes without imposing any structural assumption on the parameters. The first finding in this moderate dimension regime is that QDA can perform as poorly as random guessing even when the two populations deviate significantly. This motivates a generalized version of QDA that automatically adapts to dimensionality. Under a finite fourth moment condition, we derive misclassification rates for both the generalized QDA and the optimal one. A direct comparison reveals one "easy" case where the difference between two rates converges to zero and one "hard" case where that converges to some strictly positive constant. For the latter, a divide-and-conquer approach over dimension (rather than sample) followed by a screening procedure is proposed to narrow the gap. Various numerical studies are conducted to back up the proposed methodology.

研究の動機と目的

• データ次元 $p$ が標本サイズ $n$ に比例して増加する状況において、母集団パラメータに構造的仮定を置かずに、古典的標本QDAの性能を分析すること。
• 標準QDAが、母集団の平均に顕著な差があるにもかかわらず、$p/n \to c \in (0,1)$ のときなぜ劣化するのかを特定すること。
• 標本平均および共分散推定値の $L_2$ 範囲とスペクトル範囲における次元の影響を、適応的に補正する一般化QDAを構築すること。
• データの有限4次モーメントの条件下で、一般化QDAおよび最適QDAの理論的誤分類率を導出すること。
• 標本サイズではなく次元に対して分割統治型の戦略を適用し、スクリーニングを組み合わせることで、困難な分類状況における性能ギャップを縮小すること。

提案手法

• 次元のバイアスを補正するため、スケーリング要因による2次形式 $D_i(\mathbf{z})$ の調整と、シフト要因による対数行列式 $\log|S_i|$ の調整を含む一般化QDAルールを提案する。
• 確率的行列理論を用いて、分類ルールの主要な項の漸近的分布を導出し、特にトレースおよび2次形式を含む $T_1$, $T_2$, $T_3$ 項に注目する。
• 特徴空間を次元ごとに分割統治する戦略を導入し、有効次元を低減して推定精度を向上させるスクリーニングを適用する。
• データの有限4次モーメントの仮定の下で、一般化QDA ($R^G$) および最適QDA ($R^O$) の漸近的誤分類率を導出する。
• 分類統計量の漸近的正規近似を可能にするために、$\mathbf{z}^0$ を用いた標準正規変換を採用する。
• 誤分類率ギャップ $\mathrm{Diff} = R^G - R^O$ の理論的収束を、$\zeta_1$ もしくは $\zeta(\epsilon)$ の発散に応じて、'容易'状況では0に収束し、'困難'状況では正の定数に収束することを確立する。

実験結果

リサーチクエスチョン

• RQ1 母集団の平均に顕著な差があるにもかかわらず、なぜ標準的標本QDAが $p/n \to c \in (0,1)$ のときランダムな推測に劣化するのか？
• RQ2 構造的仮定なしに中程度次元の設定において、標本QDAおよび最適QDAの漸近的誤分類率は何か？
• RQ3 平均および共分散推定における次元の影響を適応的に補正する一般化QDAを構築できるか？
• RQ4 一般化QDAがほぼ最適な性能を達成する条件は何か？また、$R^G$ と $R^O$ のギャップが0から離れている状況はどのようなときか？
• RQ5 次元ごとの分割統治型アプローチにスクリーニングを組み合わせることで、$R^G$ と $R^O$ のギャップが正の定数に収束する'困難'な状況での分類性能はどのように向上するのか？

主な発見

• 標本QDAは、$p/n \to c \in (0,1}$ のとき、母集団の平均差が大きくても、誤分類率 $R^S \to 0.5$ にまで劣化し、ランダムな推測と同等の性能にまで落ち込むことがある。
• '容易'状況では、$\zeta_1 \to \infty$ または $\zeta(\epsilon) \to \infty$ のとき、誤分類率ギャップ $R^G - R^O$ は0に収束し、一般化QDAがほぼ最適な性能を達成していることを示す。
• '困難'状況では、ギャップ $R^G - R^O$ は正の定数に収束し、一般化QDAと最適QDAの間で持続的な性能ギャップが生じることを示す。
• 提案された一般化QDAは、'容易'状況において漸近的に誤分類率 $R^G \xrightarrow{i.p} 0$ に収束し、最適ルールの性能と一致する。
• 次元に対する分割統治型アプローチにスクリーニングを組み合わせることで、'困難'状況における性能ギャップが有効に縮小される。
• 理論的分析により、$R^O \xrightarrow{i.p} 1 - \Phi(T/\psi)$ および $R^G \xrightarrow{i.p} 1 - \Phi(\widetilde{T}/\widetilde{\psi})$ が成り立ち、収束の性質は $\zeta_1$ もしくは $\zeta(\epsilon)$ の発散に依存する。