[論文レビュー] Semiparametric Sparse Discriminant Analysis in Ultra-High Dimensions

Qing Mai, Hui Zou|arXiv (Cornell University)|Apr 17, 2013

Face and Expression Recognition被引用数 8

ひとこと要約

本稿では、正規分布仮定を緩和し、超高次元設定下で同時に特徴選択とベイズルール推定を可能にする、高次元的半パラメトリックスパース判別分析（HD-SeSDA）を提案する。真のベイズルールがスパースである場合、log(p) が n^{1/3} よりも遅く増加する条件下で、高い確率でモデル選択の一貫性を達成する。これは、半パラメトリックガウスコプールのための新しい指数的集中不等式に依拠している。

ABSTRACT

In recent years, a considerable amount of work has been devoted to generalizing linear dis-criminant analysis to overcome its incompetence for high-dimensional classification (Witten & Tibshirani 2011, Cai & Liu 2011, Mai et al. 2012, Fan et al. 2012). In this paper, we develop high-dimensional semiparametric sparse discriminant analysis (HD-SeSDA) that generalizes the normal-theory discriminant analysis in two ways: it relaxes the Gaussian assumptions and can handle non-polynomial (NP) dimension classification problems. If the underlying Bayes rule is sparse, HD-SeSDA can estimate the Bayes rule and select the true features simultane-ously with overwhelming probability, as long as the logarithm of dimension grows slower than the cube root of sample size. Simulated and real examples are used to demonstrate the finite sample performance of HD-SeSDA. At the core of the theory is a new exponential concentra-tion bound for semiparametric Gaussian copulas, which is of independent interest.

研究の動機と目的

• 古典的線形判別分析が超高次元分類問題において抱える限界を解消すること。
• 高次元設定下での正規理論判別分析における厳密な正規分布仮定を緩和すること。
• 高い確率でベイズルールを推定するとともに関連する特徴を同時に選択する手法を開発すること。
• p が n の任意の多項式よりも速く増加する非多項式（NP）次元性の下で理論的一貫性を確立すること。
• 非正規分布データに対して頑健性を保ちつつ、スパースで高次元の分類に理論的裏付けを提供するアプローチを構築すること。

提案手法

• HD-SeSDA は、パラメトリックなガウス尤度を半パラメトリックなコプールモデルに置き換えることで、正規理論判別分析を一般化する。
• ガウスコプールフレームワークを用いて予測変数の連合分布をモデル化しつつ、柔軟な周辺分布を許容する。
• L1型の罰則を用いたペナルティ付き尤度アプローチを導入し、特徴選択におけるスパarsityを誘導するスパース推定手順を採用する。
• 半パラメトリックガウスコプールのための新しい指数的集中不等式を活用し、理論的分析の中心的役割を果たす。
• log(p) が n^{1/3} よりも遅く増加する条件下で理論的一致性を確立し、モデル選択および推定の一貫性を保証する。
• 反復的最適化スキームを用いてアルゴリズムを実装し、コプールパラメータの推定とスパース判別方向の更新を交互に繰り返す。

実験結果

リサーチクエスチョン

• RQ1 半パラメトリックな判別分析のアプローチは、正規性を仮定しない超高次元設定下でも、一貫性のある特徴選択とベイズルール推定を達成できるか？
• RQ2 予測変数の数 p が標本サイズ n の任意の多項式よりも速く増加する場合、この手法はどのような条件下で一貫性を保つのか？
• RQ3 有限標本下での性能と頑健性の観点から、従来のパラメトリックおよびノンパラメトリック手法と比較して、本手法はどのように差をつけるか？
• RQ4 弱い分布的仮定の下で、この手法の推定および選択の一貫性について、どのような理論的保証を確立できるか？
• RQ5 半パラメトリックガウスコプールのための新しい集中不等式を導出し、高次元判別分析における一貫性の証明に用いることができるか？

主な発見

• log(p) が n^{1/3} よりも遅く増加する条件下で、HD-SeSDA は高い確率で真の特徴の選択とベイズルールの同時推定を達成する。
• 真のベイズルールがスパースである場合、半パラメトリックコプールモデリングフレームワークのおかげで、データ分布が正規性から逸脱しても一貫性を保つ。
• 理論的分析は、半パラメトリックガウスコプールのための新しい指数的集中不等式に依拠しており、独立に理論的関心を引く。
• シミュレーション例では、非正規かつ高次元の設定下で、HD-SeSDA が特徴選択の正確性および分類誤差の両面で従来手法を上回ることを示している。
• 実データ例は、本手法の実用的有用性を確認しており、複雑な高次元分類タスクにおいて頑健な性能を示している。
• 真のベイズルールがスパースである場合に特に効果的であり、ノイズを効率的に除外しながら関連する特徴を的確に特定・保持する。