[論文レビュー] Robust Classification of High Dimension Low Sample Size Data

Neclâ Gündüz, Ernest Fokoué|arXiv (Cornell University)|Jan 3, 2015

Advanced Statistical Methods and ModelsMathematics参考文献 24被引用数 20

ひとこと要約

この論文は、高次元・少数サンプル（HDLSS）データにおける頑健な分類手法の評価を行い、頑健な線形判別分析、頑健なPCA、ランダムフォレストなどの手法を比較している。設計上頑健でないにもかかわらず、ランダムフォレストは、外れ値を含む実データおよびシミュレートされたHDLSSデータセットにおいて、予測精度の面で他のすべての手法を常に上回っている。これは、ブートストラップ標本抽出と変数選択による内在的頑健性に起因する。

ABSTRACT

The robustification of pattern recognition techniques has been the subject of intense research in recent years. Despite the multiplicity of papers on the subject, very few articles have deeply explored the topic of robust classification in the high dimension low sample size context. In this work, we explore and compare the predictive performances of robust classification techniques with a special concentration on robust discriminant analysis and robust PCA applied to a wide variety of large $p$ small $n$ data sets. We also explore the performance of random forest by way of comparing and contrasting the differences single model methods and ensemble methods in this context. Our work reveals that Random Forest, although not inherently designed to be robust to outliers, substantially outperforms the existing techniques specifically designed to achieve robustness. Indeed, random forest emerges as the best predictively on both real life and simulated data.

研究の動機と目的

• n ≪ p である高次元・少数サンプル（HDLSS）データ環境における、頑健な分類手法の予測性能を評価・比較すること。
• 外れ値と高次元性が、従来手法および頑健な分類手法の性能に与える影響を調査すること。
• ランダムフォレストのようなアンサンブル手法は、明示的に頑健に設計されていないにもかかわらず、外れ値を含むHDLSS環境で優れた予測性能を達成するかを評価すること。
• 投影プッシュ法および頑健な線形判別分析が、多クラスおよび高次元状況でなぜ限界に達するかを明らかにすること。
• 特にがん分類のようなバイオメディカル応用分野を想定し、実世界のHDLSSデータに対して実用的で頑健な分類手法を特定すること。

提案手法

• 予測性能評価のためのゼロ-オール・ロスを用い、R回の繰り返し交差検証フレームワークにより、平均テスト誤差（AVTE）を推定する。
• 最小共分散行列式（MCD）、投影プッシュ、SIMCA、正則化線形判別分析、および頑健なPCAを含む、頑健な分類手法を適用する。
• ランダムフォレストは、ブートストラップ標本抽出とランダムな特徴量サブスペース選択を用い、外れ値の影響を内在的に低減し、高次元性に対処する。
• 外れ値の制御された割合を含む、実HDLSSデータセット（前立腺、リンパ腫、肺、コロン、白血病、脳腫瘍）およびシミュレートされたデータに対して手法を評価する。
• シミュレートされたデータにおいて、次元数（p）、外れ値率（κ）、相関構造（ρ）の変化に応じた性能比較を行う。
• 変数間相関およびクラス数（G=2 または G=3）が、手法の頑健性および予測精度に与える影響を分析する。

実験結果

リサーチクエスチョン

• RQ1 外れ値を含む高次元・少数サンプル（HDLSS）データにおいて、頑健な分類手法はどのように性能を発揮するか？
• RQ2 ランダムフォレストは、明示的に頑健に設計されていないにもかかわらず、外れ値を含むHDLSS環境で優れた予測性能を達成するか？
• RQ3 変数間相関が高い状況では二値分類で成功を収める投影プッシュ法が、多クラス分類ではなぜ失敗するのか？
• RQ4 ランダムフォレストにおける変数選択とブートストラップ標本抽出の組み合わせが、HDLSSデータにおける頑健性にどのように寄与するか？
• RQ5 外れ値率や次元数の変化に応じて、SIMCAおよびMCDベースの手法はランダムフォレストや他の頑健な手法に比べて相対的にどの程度の性能を示すか？

主な発見

• ランダムフォレストは、すべての実データおよびシミュレートされたHDLSSデータセットにおいて、最良または第二位の予測性能を一貫して達成しており、最悪の成績を示したことはない。
• g=2 および ρ=0.75 の強い外れ値を含むシミュレートデータでは、ランダムフォレストが最小の平均テスト誤差を記録し、MCD や投影プッシュをも上回った。
• 投影プッシュは、変数間相関が高い状況（ρ=0.75）の二値分類でのみ最良の性能を示し、多クラスおよび低相関状況では失敗した。
• SIMCAは強い外れ値条件下でも良好な性能を示し、しばしばランダムフォレストに次いで第二位の順位を獲得しており、外れ値を含むHDLSS状況における実用性が顕著に示された。
• 頑健な線形判別分析およびPCAベースの手法は、高次元・少数サンプル環境、特に多クラスデータでは限定的な有効性を示した。
• ランダムフォレストのブートストラップ機構により、訓練サンプルの約37％（e⁻¹）が自動的に除外されるが、これは外れ値の影響を平均化することで、頑健性に寄与している可能性がある。