[論文レビュー] A Convex Optimization Approach to High-Dimensional Sparse Quadratic Discriminant Analysis

Tommaso Cai, Linjun Zhang|arXiv (Cornell University)|Dec 5, 2019

Sparse and Compressive Sensing Techniques参考文献 31被引用数 5

ひとこと要約

本稿では、次元数pが標本サイズnを超過する高次元スパースな二次判別分析（QDA）に対して、凸最適化に基づくSDARを提案する。この手法は、スパarsity制約の下で判別方向と差分グラフを直接推定する。分類誤差率のミニマックス最適性を、対数因子を除いて確立し、前立腺がんおよびコロニー組織データに対する理論的保証と実証的検証を併せ持つ。

ABSTRACT

In this paper, we study high-dimensional sparse Quadratic Discriminant Analysis (QDA) and aim to establish the optimal convergence rates for the classification error. Minimax lower bounds are established to demonstrate the necessity of structural assumptions such as sparsity conditions on the discriminating direction and differential graph for the possible construction of consistent high-dimensional QDA rules. We then propose a classification algorithm called SDAR using constrained convex optimization under the sparsity assumptions. Both minimax upper and lower bounds are obtained and this classification rule is shown to be simultaneously rate optimal over a collection of parameter spaces, up to a logarithmic factor. Simulation studies demonstrate that SDAR performs well numerically. The algorithm is also illustrated through an analysis of prostate cancer data and colon tissue data. The methodology and theory developed for high-dimensional QDA for two groups in the Gaussian setting are also extended to multi-group classification and to classification under the Gaussian copula model.

研究の動機と目的

• 次元数pが標本サイズnを超過する高次元スパースQDAに対して、最適で理論的裏付けのある手法が不足しているという問題に取り組む。
• 判別方向および差分グラフのスパarsity仮定の必要性を示すために、分類誤差のミニマックス下界を確立する。
• これらの構造的仮定の下で、最適収束速度を達成する分類ルールSDARを開発する。
• ガウス分布以外の設定においても、多群分類およびガウスコプシラモデルへの手法の拡張を試みる。
• 提案手法の最適性および実用的性能について、理論的および実証的証拠を提供する。

提案手法

• QDA意思決定ルールを判別方向β = Ω₂δおよび差分グラフD = Ω₂ − Ω₁の観点から再定式化し、問題をこれらの2つの成分の推定に還元する。
• スパarsityを強制するℓ₁正則化制約の下で、Dおよびβを同時に推定する制約付き凸最適化手順SDARを提案する。
• 精度行列および判別方向の推定に制約付きℓ₁最小化を用い、計算の実行可能性とスパarsityを保証する。
• 推定されたβおよびDに基づく分類ルールを導出し、すべての共分散パラメータを直接推定することを回避するデータ駆動型分類器を構築する。
• ミニマックス上界および下界を用いた理論的収束速度の確立により、分類誤差率が対数因子を除いて最適であることを示す。
• 類似した凸最適化原理を用いて、多群QDAおよびガウスコプシラモデルへのフレームワークの拡張を実施する。

実験結果

リサーチクエスチョン

• RQ1 スパarsity仮定の下で、高次元スパースQDAにおける分類誤差のミニマックス下界は何か？
• RQ2 凸最適化に基づく手法は、高次元スパースQDAにおいて最適収束速度を達成できるか？
• RQ3 提案されたSDAR分類器は、さまざまなスパースパrameter空間において同時に最適性を達成できるか？
• RQ4 実世界の高次元データ、例えば遺伝子発現データセットにおいて、この手法は実際の性能をどのように発揮するか？
• RQ5 このフレームワークは、多群分類およびガウスコプシラのような非ガウスモデルへ拡張可能か？

主な発見

• 本稿では、高次元QDAにおける一貫性のある分類を達成するためには、判別方向および差分グラフに対するスパarsity仮定が必要であることを示すミニマックス下界を確立した。
• SDARは、スパースパrameter空間の集合にわたって、分類誤差率が対数因子を除いてミニマックス最適であることを示した。
• 理論的分析により、SDARの収束速度がミニマックス下界と一致することが判明し、高次元領域における最適性が確認された。
• シミュレーション研究により、SDARが数値的に優れた性能を示し、安定的で低い分類誤差率を達成することが確認された。
• 前立腺がんおよびコロニー組織データに対する実証的分析では、SDARが関連特徴を効果的に同定し、競争力のある分類精度を達成した。
• 多群分類およびガウスコプシラモデルへの手法の拡張は成功裏に実施され、理論的および実証的妥当性が維持された。