[論文レビュー] A Direct Approach for Sparse Quadratic Discriminant Analysis

Binyan Jiang, Xiangyu Wang+1 more|arXiv (Cornell University)|Oct 1, 2015

Gene expression and cancer classification参考文献 32被引用数 20

ひとこと要約

本稿では、超高次元設定下におけるスパースな2次判別分析のための直接的アプローチ、DA-QDAを提案する。スパース性の仮定の下で、ベイズ成分（精度行列の差分Ω、線形インデックスδ、平均μ、切片η）を直接推定することにより、次元数pが標本サイズnとともに指数関数的に増加する場合でさえ、一貫性と最適ベイズリスクへの収束を達成する。これは、相互作用推定に効率的なADMMベースのアルゴリズムを用いることで実現される。

ABSTRACT

Quadratic discriminant analysis (QDA) is a standard tool for classification due to its simplicity and flexibility. Because the number of its parameters scales quadratically with the number of the variables, QDA is not practical, however, when the dimensionality is relatively large. To address this, we propose a novel procedure named DA-QDA for QDA in analyzing high-dimensional data. Formulated in a simple and coherent framework, DA-QDA aims to directly estimate the key quantities in the Bayes discriminant function including quadratic interactions and a linear index of the variables for classification. Under appropriate sparsity assumptions, we establish consistency results for estimating the interactions and the linear index, and further demonstrate that the misclassification rate of our procedure converges to the optimal Bayes risk, even when the dimensionality is exponentially high with respect to the sample size. An efficient algorithm based on the alternating direction method of multipliers (ADMM) is developed for finding interactions, which is much faster than its competitor in the literature. The promising performance of DA-QDA is illustrated via extensive simulation studies and the analysis of four real datasets.

研究の動機と目的

• 2次パラメータのスケーリングに起因する古典的QDAの高次元データにおける非現実性に対処する。
• 中間のスパース推定量に依存せず、ベイズ判別関数の主要な成分を直接推定するフレームワークを構築する。
• 次元数pが標本サイズnとともに指数関数的に増加する場合でも、スパース性仮定の下でΩ、δ、ηの推定に対する理論的一貫性を確立する。
• 超高次元QDAにおける切片推定量ηの理論的分析を初めて提供する。
• 計算効率の高いADMMベースのアルゴリズムを設計し、二次相互作用の推定において、既存手法よりも高速かつメモリ効率が良い。

提案手法

• 統一的な最適化フレームワークを用いて、ベイズ判別関数の成分（Ω：精度行列の差分、δ：線形インデックス、μ：重心平均、η：切片）を直接推定する。
• Ωおよびδのスパース性を強制するために、l1正則化付き尤度を用いた正則化最適化問題に定式化する。
• 非凸最適化問題を効率的に解くために、交替方向乗数法（ADMM）を用いる。これにより、スケーラブルな計算が可能になる。
• 変数分割と増強ラグランジュ緩和を用いて、高次元推定問題を扱いやすい部分問題に分解する。
• 既存の競合手法と比較して著しく高速かつメモリ効率の良いΩ推定のための新規アルゴリズムを導入する。
• 2クラス重心の平均を中心にした中心化により、判別関数の位置不変性を確保する。

実験結果

リサーチクエスチョン

• RQ1 QDA成分の直接推定アプローチは、超高次元設定下でも一貫性と最適分類性能を達成できるか？
• RQ2 計算面において、本手法は既存のスパースQDA手法と比較して速度およびメモリ効率に優れているか？
• RQ3 超高次元QDAにおける切片項ηの推定に対して、どのような理論的保証を確立できるか？
• RQ4 次元数pが標本サイズnとともに指数関数的に増加する場合でも、スパース性仮定の下でδおよびΩの推定が一貫性を保つのか？
• RQ5 Ω推定のADMMベースのアルゴリズムは、既存のソルバーよりも優れたスケーラビリティおよび収束速度を達成できるか？

主な発見

• DA-QDAは、適切なスパース性仮定の下で、相互作用行列Ωおよび線形インデックスδの両方の推定において一貫性を達成する。
• 次元数pが標本サイズnとともに指数関数的に増加する場合でさえ、DA-QDAの誤分類率は最適ベイズリスクに収束する。
• 既存の文献における手法と比較して、Ω推定に用いられる本手法のADMMベースのアルゴリズムは、著しく高速かつメモリ効率が良い。
• 理論的分析により、推定された切片ηの一致性が確認され、これは超高次元QDAにおいて初めての結果である。
• 4つのデータセットを用いた広範なシミュレーションおよび実データ解析の結果、DA-QDAは既存の手法を上回り、特に強い変数相互作用を示す状況で顕著な優位性を示す。
• 本手法は、高相関性や複雑な相互作用パターンを示す多様なデータ構造に対しても、頑健な性能を発揮する。