[論文レビュー] Dynamic Linear Discriminant Analysis in High Dimensional Space

Binyan Jiang, Ziqi Chen+1 more|arXiv (Cornell University)|Aug 1, 2017

Statistical Methods and Inference参考文献 13被引用数 7

ひとこと要約

本稿では、局所カーネルスムージングを用いて時変または共変量依存の平均および分散共分散構造をモデル化する、高次元二値分類のための新規手法である動的線形判別分析（DLPD）を提案する。近似的なスパarsityのもとで、DLPDルールは最小最大最適な誤分類率を達成し、標本サイズに対して次元が指数関数的に増加する場合でさえ、一様にベイズリスクに収束する。

ABSTRACT

High-dimensional data that evolve dynamically feature predominantly in the modern data era. As a partial response to this, recent years have seen increasing emphasis to address the dimensionality challenge. However, the non-static nature of these datasets is largely ignored. This paper addresses both challenges by proposing a novel yet simple dynamic linear programming discriminant (DLPD) rule for binary classification. Different from the usual static linear discriminant analysis, the new method is able to capture the changing distributions of the underlying populations by modeling their means and covariances as smooth functions of covariates of interest. Under an approximate sparse condition, we show that the conditional misclassification rate of the DLPD rule converges to the Bayes risk in probability uniformly over the range of the variables used for modeling the dynamics, when the dimensionality is allowed to grow exponentially with the sample size. The minimax lower bound of the estimation of the Bayes risk is also established, implying that the misclassification rate of our proposed rule is minimax-rate optimal. The promising performance of the DLPD rule is illustrated via extensive simulation studies and the analysis of a breast cancer dataset.

研究の動機と目的

• 現代の分類問題における高次元性と動的データ変化の二重の課題に対処すること。
• 母集団の平均および分散共分散行列の時間的または共変量依存的変化を捉える分類手法を開発すること。
• 高次元的・非定常データ設定下での分類性能に対する理論的保証を確立すること。
• 共変量範囲全体にわたり誤分類率の一様収束を達成すること。
• 最小最大下界を導出し、提案されたルールがレート最適であることの証明を行うこと。

提案手法

• 局所カーネルスムージングを用いて、観測された共変量の滑らかな関数として母集団の平均および分散共分散行列をモデル化する。
• 非定常データに適応した動的バージョンのDantzig選択子を用いて、線形判別インデックスを推定する。
• 高次元設定（$ p \gg n $）に対処するため、線形インデックスにスパarsity仮定を適用する。
• 局所スムージング下での平均および分散共分散行列の$ \ell_\infty $-ノルム推定誤差バウンドを用いる。
• 集中不等式を用いて、共変量空間全体における誤分類率の一様収束を確立する。
• 最小最大下界を導出し、提案されたルールの最適性を証明する。

実験結果

リサーチクエスチョン

• RQ1 高次元的判別分析手法は、時変または共変量依存のデータ分布の変化を効果的にモデル化できるか？
• RQ2 動的で高次元的な設定下での分類の理論的性能限界（最小最大レート）は何か？
• RQ3 提案されたDLPDルールは、全共変量範囲にわたり誤分類率の一様収束を達成するか？
• RQ4 動的分類タスクにおいて、DLPDルールは静的または点ごとの手法と比べてどのように差をつけるか？
• RQ5 近似的なスパarsityのもとで、高次元的・非定常データ下でのDLPDルールは最小最大レート最適か？

主な発見

• DLPDルールの条件付き誤分類率は、$ p $ が $ n $ に対して指数関数的に増加する場合でさえ、共変量範囲全体にわたり確率的にベイズリスクに一様に収束する。
• 平均および分散共分散行列の推定誤差は、$ O\left(\left(\frac{\log p}{n}\right)^{\frac{2}{2+d}}\right) $ としてバウンドされ、ここで $ d $ は共変量の次元を表す。
• 導出された下界と誤分類率の上界が一致するため、DLPDルールは最小最大レート最適性を達成する。
• 本手法は、腫瘍サイズに応じて平均レベルおよび分散共分散構造が変化する乳がんデータセットにおいて、動的遺伝子発現パターンを効果的に捉えた。
• シミュレーションスタディにより、DLPDルールが高次元的・非定常データ下でも優れた性能を維持することが確認され、静的手法を上回った。
• 理論的結果から、動的設定では点ごとの収束では不十分であり、共変量値全体にわたる一様収束が、信頼性の高い分類に不可欠であることが示された。