[論文レビュー] Nonparametric empirical Bayes and maximum likelihood estimation for high-dimensional data analysis

Lee H. Dicker, Sihai Dave Zhao|arXiv (Cornell University)|Jul 9, 2014

Bayesian Methods and Mixture Models参考文献 30被引用数 7

ひとこと要約

本稿は、高次元データにおける非パラメトリック実験的ベイズNPMLEの計算的に効率的な近似を提案し、その統計的誤差が真のNPMLEと同一の速度で収束することを示している。さらに、シミュレートされたおよび実際の高次元二値分類タスクにおいて、特に遺伝子発現およびがん生存データにおいて、既存の手法を著しく上回る性能を示す、新しいNPMLEに基づく分類器を導入している。

ABSTRACT

Nonparametric empirical Bayes methods provide a flexible and attractive approach to high-dimensional data analysis. One particularly elegant empirical Bayes methodology, involving the Kiefer-Wolfowitz nonparametric maximum likelihood estimator (NPMLE) for mixture models, has been known for decades. However, implementation and theoretical analysis of the Kiefer-Wolfowitz NPMLE are notoriously difficult. A fast algorithm was recently proposed that makes NPMLE-based procedures feasible for use in large-scale problems, but the algorithm calculates only an approximation to the NPMLE. In this paper we make two contributions. First, we provide upper bounds on the convergence rate of the approximate NPMLE's statistical error, which have the same order as the best known bounds for the true NPMLE. This suggests that the approximate NPMLE is just as effective as the true NPMLE for statistical applications. Second, we illustrate the promise of NPMLE procedures in a high-dimensional binary classification problem. We propose a new procedure and show that it vastly outperforms existing methods in experiments with simulated data. In real data analyses involving cancer survival and gene expression data, we show that it is very competitive with several recently proposed methods for regularized linear discriminant analysis, another popular approach to high-dimensional classification.

研究の動機と目的

• KoenkerとMizeraが提案した近似NPMLEの理論的裏付けを提供すること。これは計算的に実行可能ではあるが、当初は理論的支援が不足していた。
• 近似NPMLEが真のNPMLEと同一の収束速度を達成することを確立し、その統計的有効性を検証すること。
• NPMLEに基づく新しい非パラメトリック実験的ベイズ分類器を開発・評価すること。これは高次元二値分類を対象としている。
• 提案された分類器が、シミュレートデータにおいて優れた性能を示し、実世界の遺伝子発現およびがん生存データセットにおいても高い競争力を持つことを示すこと。
• 従来の推定にとどまらない、非パラメトリック実験的ベイズ手法の応用範囲を、現代の高次元における分類問題へと拡張すること。

提案手法

• 無限次元のKiefer-Wolfowitz NPMLEを近似するために、有限次元の凸最適化フレームワークを用い、スケーラブルな計算を可能にしている。
• KoenkerとMizeraのアルゴリズムを用いて、NPMLEを凸最適化問題として解き、遅いEM型アルゴリズムを回避している。
• 近似NPMLEが真の潜在分布に収束する速度の上界を導出し、真のNPMLEの既知の境界と一致させている。
• 訓練データからグループ固有のNPMLE推定量 $\hat{F}^0$ と $\hat{F}^1$ を推定し、特徴量の平均を観測値として用いてベイズ分類器を構築している。
• チューニングパラメータを必要とせず、データから非パラメトリックに混合分布を推定する非パラメトリック実験的ベイズアプローチを採用している。
• 理論的分析と広範なシミュレーションを通じて、正則化線形判別分析手法と比較した方法の妥当性を検証している。

実験結果

リサーチクエスチョン

• RQ1 KoenkerとMizeraが提案した近似NPMLEは、真のNPMLEと同一の統計的収束速度を達成するか？
• RQ2 NPMLEに基づく手続きは、高次元二値分類タスクに効果的に適応可能か？
• RQ3 提案されたNPMLEベースの分類器は、シミュレートデータおよび実データにおいて、既存の最先端手法と比較して分類精度で優れているか？
• RQ4 i.i.d.正規分布観測値を伴う高次元設定下で、近似NPMLEの理論的統計的性能はいかなるものか？
• RQ5 遺伝子発現マイクロアレイのような複雑な実世界ゲノムデータに応用した場合、NPMLEベースの分類器は強力な性能を維持できるか？

主な発見

• 近似NPMLEは真のNPMLEと同一の収束速度を達成しており、統計的誤差の上界が真の推定量の最高水準の既知のレートと一致している。
• 提案されたNPMLEベースの分類器は、シミュレートされた高次元二値分類実験において、既存の手法を著しく上回っている。
• がん生存および遺伝子発現を含む実データでは、最近の正則化線形判別分析技術と同等に競争力がある。
• 理論的分析により、近似NPMLEは統計的に信頼でき、適切な条件下で収束レートが $O\left(\frac{\log(N)\{\log(K)\}^2}{NK^2}\right)$ で抑えられることを確認した。
• NPMLE推定にチューニングパラメータが一切不要なことから、高次元設定下でもロバストでスケーラブルであることが示された。
• 特に複雑で正規分布でない潜在分布を有する状況において、$\hat{F}^0$ と $\hat{F}^1$ に基づく分類器は強力な実証的性能を示している。