[論文レビュー] High-dimensional Linear Discriminant Analysis: Optimality, Adaptive Algorithm, and Missing Data

Tommaso Cai, Linjun Zhang|arXiv (Cornell University)|Apr 9, 2018

Statistical Methods and Inference参考文献 12被引用数 11

ひとこと要約

本稿は、適応的制約付き ℓ1 最小化を用いて、高次元線形判別分析における最適でチューニングフリーの分類ルールを構築し、収束のミニマックス最適レートを達成する。さらに、完全にランダムに欠損する（MCAR）データにおける分類について理論的保証を確立し、ロバストな適応的分類器を導入し、完全および不完全データ設定における鋭いミニマックス下界を導出する。

ABSTRACT

This paper aims to develop an optimality theory for linear discriminant analysis in the high-dimensional setting. A data-driven and tuning free classification rule, which is based on an adaptive constrained $\ell_1$ minimization approach, is proposed and analyzed. Minimax lower bounds are obtained and this classification rule is shown to be simultaneously rate optimal over a collection of parameter spaces. In addition, we consider classification with incomplete data under the missing completely at random (MCR) model. An adaptive classifier with theoretical guarantees is introduced and optimal rate of convergence for high-dimensional linear discriminant analysis under the MCR model is established. The technical analysis for the case of missing data is much more challenging than that for the complete data. We establish a large deviation result for the generalized sample covariance matrix, which serves as a key technical tool and can be of independent interest. An application to lung cancer and leukemia studies is also discussed.

研究の動機と目的

• . 高次元線形判別分析におけるミニマックス最適な分類ルールを確立すること。
• . 適応的制約付き ℓ1 最小化を用いて、データ駆動型でチューニングフリーの分類手法を開発すること。
• . 最適性理論を、完全にランダムに欠損する（MCAR）データを伴う高次元分類に拡張すること。
• . 完全および不完全データの両設定における過剰誤分類リスクのミニマックス下界を導出すること。
• . スパースな判別方向を伴う一般ガウスモデル下での提案分類器の理論的保証を提供すること。

提案手法

• . 別々に Σ と δ を推定するのを避けるために、判別方向 β = Ωδ を直接推定するための適応的制約付き ℓ1 最小化アプローチを提案する。
• . チューニングパラメータを回避するデータ駆動型スレッショルド戦略を用いることで、実用性を向上させる。
• . 不完全データの解析に重要な技術的ツールとして、一般化された標本共分散行列の大偏差結果を確立する。
• . スパarsity（‖β‖₀ ≤ s）、固有値制約、および信号対雑音比 ∆ ∈ [Mn,p, 3Mn,p] を捉えるパラメータ空間 G(s, Mn,p) を構築する。
• . Fanoの補題とLe Camの手法を用いて、推定と分類リスクのミニマックス下界を導出する。
• . 最初の n₀ 個の標本が完全に観測されるという特定のMCAR欠損パターン S₀ を考える。これにより、不完全データ問題が n₀ 個の標本を持つ完全データ問題に還元される。

実験結果

リサーチクエスチョン

• RQ1 . 一般ガウスモデル下で、高次元線形判別分析における過剰誤分類リスクの最適収束レートは何か？
• RQ2 . データ駆動型でチューニングフリーの分類ルールは、高次元設定においてミニマックス最適性を達成できるか？
• RQ3 . MCARモデル下での欠損データの存在が、高次元LDAのミニマックス収束レートに与える影響は何か？
• RQ4 . データが不完全で次元が大きい場合の分類誤差の根本的限界（ミニマックス下界）は何か？
• RQ5 . 1つの分類器が、多様な高次元パラメータ空間において同時に最適レートを達成できるか？

主な発見

• . 提案された適応的制約付き ℓ1 最小化ルールは、パラメータ空間 G(s, Mn,p) 全体にわたって同時にレート最適性を達成する。
• . 判別方向 β の推定誤差のミニマックス下界は、Mn,p√(s log p / n) のオーダーであり、推定の根本的限界を確立する。
• . 完全データ設定では、過剰誤分類リスクのミニマックス下界は、Mn,p⁻¹ exp(−Mn,p²/8) √(s log p / n) のオーダーであり、対応する上界と対数要因を除いて一致する。
• . n₀ 個の観測標本を伴うMCARモデル下では、過剰誤分類リスクのミニマックス下界は、任意の δ > 0 に対して Mn,p⁻¹ exp(−(1/8 + δ)Mn,p²) √(s log p / n₀) のオーダーである。
• . Mn,p が有界である場合、下界は Cα e⁻¹/⁸ Mn,p⁻¹ √(s log p / n₀) に簡略化され、信号対雑音比に指数的減衰が生じることが示される。
• . 一般化された標本共分散行列の大偏差に関する技術的結果が確立され、高次元推論において独立に重要である。