[論文レビュー] Iterative Supervised Principal Components

Juho Piironen, Aki Vehtari|arXiv (Cornell University)|Oct 17, 2017

Gene expression and cancer classification参考文献 13被引用数 7

ひとこと要約

本稿では、反復的に目的変数を最も予測できる特徴量を選択することで、教師ありスクリーニングと主成分分析を組み合わせた、モデルに依存しない次元削減手法である反復的教師あり主成分分析（ISPC）を提案する。既存手法（SPCA）の欠点を改善し、交差検証によるチューニングを回避し、多クラス問題にも対応できる。予測性能は競争力があり、計算コストを最小限に抑えながら高次元データの可視化にも優れる。

ABSTRACT

In high-dimensional prediction problems, where the number of features may greatly exceed the number of training instances, fully Bayesian approach with a sparsifying prior is known to produce good results but is computationally challenging. To alleviate this computational burden, we propose to use a preprocessing step where we first apply a dimension reduction to the original data to reduce the number of features to something that is computationally conveniently handled by Bayesian methods. To do this, we propose a new dimension reduction technique, called iterative supervised principal components (ISPC), which combines variable screening and dimension reduction and can be considered as an extension to the existing technique of supervised principal components (SPCs). Our empirical evaluations confirm that, although not foolproof, the proposed approach provides very good results on several microarray benchmark datasets with very affordable computation time, and can also be very useful for visualizing high-dimensional data.

研究の動機と目的

• 特徴量の数が学習インスタンス数を大幅に上回る高次元予測問題において、完全ベイズ推論の計算負荷を軽減すること。
• 予測性能を向上させつつ、ベイズ手法に適した計算可能性を維持する次元削減技術を開発すること。
• 交差検証に依存しないようにして多クラス分類を可能にするよう、教師あり主成分分析（SPC）を拡張すること。
• ベンチマークマイクロアレイおよびテキストデータセットを用いて、ISPCの予測モデリングおよび探索的データ可視化における性能を評価すること。

提案手法

• ISPCは、各ステップで目的変数と相関が最も高い特徴量を反復的に選択することで、教師ありスクリーニングを実行する。
• 選択された特徴量に対して主成分分析（PCA）を適用し、教師ありの次元削減された特徴空間を構築する。
• パーミュテーション検定を用いて最適な成分数を決定することで、過学習を低減し、交差検証を回避する。
• 必要に応じて、教師なし成分と組み合わせることで、グローバルなデータ構造を保持し、モデルの頑健性を向上させる。
• アルゴリズムはモデルに依存せず、任意のベイズ的または頻度主義的予測モデルの前処理として適用可能である。
• 計算効率が高く、主なコストはパーミュテーション検定であるが、大規模データセットに対しても管理可能である。

実験結果

リサーチクエスチョン

• RQ1 反復的かつ教師ありの次元削減手法は、高次元マイクロアレイおよびテキストデータセットにおいて、標準的PCAやSPCAを上回る予測精度を達成できるか？
• RQ2 ISPCは、PCA や SPCA よりも高次元ラベル付きデータの低次元可視化を優れて行えるか？
• RQ3 予測性能と計算効率の観点から、ISPCはラッソ回帰やリッジ回帰と比べてどうか？
• RQ4 ISPCは、交差検証によるチューニングを必要とせずに、多クラス分類問題に効果的に適用できるか？
• RQ5 ISPCに教師なし成分を含めることは有益であり、過学習を低減するか？

主な発見

• ISPCは、特にOvarianおよびLung-5cデータセットにおいて、PCA や SPCA よりも優れた予測性能を達成したが、平均的にはSPCAがわずかに優れていた。
• 可視化の観点では、ISPCはPCA や SPCA と比較して、少なくとも同等以上、多くの場合より優れた2次元表現を生成した。特にBasehockおよびPCMacデータセットで顕著であった。
• パーミュテーション検定を用いて成分数を選択することで、Naive ISPC（ISPCA-naive）と比較して過学習が顕著に低減され、ColonおよびProstateデータセットで結果が改善した。
• ISPCに教師なし成分を含めること（ISPCA）により、一部のデータセット（例：PCMac、Arcene）で性能が向上したが、SPCAにおけるその恩恵はやや限定的であった。
• 計算コストの観点では、ISPCは非常に効率的であり、ほとんどのデータセットでモデルの適合に数秒で収束した。n および D が大きくてもスケーラブルである。
• どの手法も普遍的に最適ではなかったが、ISPC、SPCA、PCAはいずれもラッソ回帰やリッジ回帰を著しく上回る予測精度を示した。