[論文レビュー] Semiparametric Sparse Discriminant Analysis

Qing Mai, Hui Zou|arXiv (Cornell University)|Apr 17, 2013

Statistical Methods and Inference参考文献 31被引用数 4

ひとこと要約

本稿では、予測変数を未知の単調変換でモデル化することで正規分布仮定を緩和する、スパース半パラメトリック判別分析（SSDA）を提案する。この手法により、同時に特徴選択とベイズルールの推定が可能となる。SSDAは、log p が n^{1/3} よりもゆっくりと増加する場合、確率的に非常に高い確率で一貫性のある変数選択と推定を達成する。これは、半パラメトリックなガウスコプル拉に新たな指数的集中不等式を導入することで実現される。

ABSTRACT

In recent years, a considerable amount of work has been devoted to generalizing linear discriminant analysis to overcome its incompetence for high-dimensional classification (Witten & Tibshirani 2011, Cai & Liu 2011, Mai et al. 2012, Fan et al. 2012). In this paper, we develop high-dimensional semiparametric sparse discriminant analysis (HD-SeSDA) that generalizes the normal-theory discriminant analysis in two ways: it relaxes the Gaussian assumptions and can handle non-polynomial (NP) dimension classification problems. If the underlying Bayes rule is sparse, HD-SeSDA can estimate the Bayes rule and select the true features simultaneously with overwhelming probability, as long as the logarithm of dimension grows slower than the cube root of sample size. Simulated and real examples are used to demonstrate the finite sample performance of HD-SeSDA. At the core of the theory is a new exponential concentration bound for semiparametric Gaussian copulas, which is of independent interest.

研究の動機と目的

• 古典的およびスパース線形判別分析（LDA）が高次元的で非正規な状況において抱える限界を解決すること。
• 高次元的データ（p >> n）における超高次元性を考慮した、半パラメトリックLDA（SeLDA）の一般化。
• スパarsityのもとで、同時に特徴選択とベイズルールの推定が可能な手法の開発。
• 特に正規分布仮定を緩和する弱い分布的仮定のもとで、手法の理論的一貫性を確立すること。

提案手法

• 各予測変数 X_j の変換後 h_j(X_j) が、クラスラベルの下で多変量正規分布に従う半パラメトリックモデルを提案。変換関数 h_j は未知の単調関数である。
• 逆ノーマルスコアを用いて、経験的分布関数を用いて非パラメトリックに変換関数 h_j を推定。
• 変換済みデータに対して直接的なスパース判別分析（DSDA）を適用し、同時に特徴選択と分類を実行。
• log p が n^{1/3} よりもゆっくりと増加する条件下で、変換関数推定子の一様一貫性を確立。
• 半パラメトリックなガウスコプル拉に対して、理論的分析の中心的役割を果たす新たな指数的集中不等式を導出。
• L1正則化を用いた最適化フレームワークを採用し、推定された判別方向におけるスパarsityを保証。

実験結果

リサーチクエスチョン

• RQ1 超高次元的データを扱いながらも正規分布仮定を緩和できる半パラメトリック判別分析手法を開発できるか？
• RQ2 このような手法が、高次元的状況下で真の特徴を一貫して選択し、ベイズルールを推定できる条件は何か？
• RQ3 パラメトリックな形を仮定せずとも、高次元的状況下で変換関数 h_j を一貫して推定できるか？
• RQ4 手法の性能は次元 p と標本サイズ n の関係にどのように依存するか？
• RQ5 非正規的かつ高次元的データのもとで、特徴選択および分類誤差に対してどのような理論的保証を提供できるか？

主な発見

• log p が n^{1/3} よりもゆっくりと増加する場合、SSDAは確率的に非常に高い確率で一貫性のある特徴選択とベイズルールの推定を達成する。
• 計算コストは次元 p に対して線形に増加するため、超高次元問題へのスケーラビリティに優れる。
• 理論的保証は、半パラメトリックなガウスコプル拉に対して新規に導出された指数的集中不等式に基づくものであり、独立に価値がある。
• シミュレーションおよび実データの結果から、特に非正規な状況下でも優れた有限標本性能が示された。
• 古典的およびパラメトリックLDAよりも優れた性能を示し、正規分布仮定を緩和することの利点を裏付けた。
• 理論的解析により、変換関数推定子が弱い正則性条件のもとで一様一貫性を示すことが示された。