[論文レビュー] Dimension Reduction of High-Dimensional Datasets Based on Stepwise SVM

Elizabeth P. Chou, Tzu-Wei Ko|arXiv (Cornell University)|Nov 9, 2017

Gene expression and cancer classification参考文献 14被引用数 3

ひとこと要約

本論文は、遺伝子発現解析に特に適した高次元・小標本サイズ（大p小n）データセットにおける次元削減のための段階的サポートベクターマシン（SVM）手法を提案する。SVMを用いて個々の変数の予測性能を段階的に評価することで、分類精度を向上させる安定的でノイズ低減型の特徴量サブセットを特定する。この手法は、元のデータおよび他の次元削減済みデータよりも優れた分類精度を達成する。

ABSTRACT

The current study proposes a dimension reduction method, stepwise support vector machine (SVM), to reduce the dimensions of large p small n datasets. The proposed method is compared with other dimension reduction methods, namely, the Pearson product difference correlation coefficient (PCCs), recursive feature elimination based on random forest (RF-RFE), and principal component analysis (PCA), by using five gene expression datasets. Additionally, the prediction performance of the variables selected by our method is evaluated. The study found that stepwise SVM can effectively select the important variables and achieve good prediction performance. Moreover, the predictions of stepwise SVM for reduced datasets was better than those for the unreduced datasets. The performance of stepwise SVM was more stable than that of PCA and RF-RFE, but the performance difference with respect to PCCs was minimal. It is necessary to reduce the dimensions of large p small n datasets. We believe that stepwise SVM can effectively eliminate noise in data and improve the prediction accuracy in any large p small n dataset.

研究の動機と目的

• ゲノム研究や計算生物学で一般的に見られる高次元・小標本サイズのデータセットの課題に対処すること。
• 大p小nのデータセットにおけるノイズや不関係な特徴量を低減することで分類性能を向上させること。
• 半教師あり設定における教師あり学習に適した、安定的で計算効率が良く、効果的な次元削減手法を開発すること。
• 実際の遺伝子発現データセットを用いて、PCA や相関ベースのフィルタリング、RF-RFE といった既存手法と比較して、提案手法の有効性を評価すること。

提案手法

• 本手法は、逐次的前進選択に基づくワラッパー手法であり、SVMを用いて各変数の予測能力を個別に評価する。
• 各ステップで、検証セットにおける分類精度が最も向上する変数が選択され、SVM分類器からの予測率に基づく。
• 所定の特徴量数が選択されたり、性能が変化しなくなるまで反復的に処理を継続する。
• SVM分類には線形カーネルまたはRBFカーネルを用い、各データセットごとに最も性能の良いカーネルを選定する。
• 特徴量選択は相関や分散ではなく、予測精度に基づくため、分類器依存であり、学習プロセスに埋め込まれる。
• 次元削減された特徴空間においても、サンプル間の関係性を保つことで、データの幾何的構造を維持する。

実験結果

リサーチクエスチョン

• RQ1 段階的SVMは、PCA や相関フィルタリング、RF-RFE といった従来の次元削減手法と比較して、高次元遺伝子発現データセットにおける予測精度を上回ることができるか？
• RQ2 段階的SVMを用いた次元削減は、元の完全なデータセットを用いた場合と比較して、より優れた分類性能を達成するか？
• RQ3 他の手法と比較して、段階的SVMは複数の遺伝子発現データセットにわたって安定した性能を示すか？
• RQ4 大p小nの状況下で、段階的SVMはノイズをどれほど低減し、モデルの一般化性能を向上させるか？
• RQ5 1つずつ変数を選択するアプローチを取る段階的SVMの性能に、変数間の依存関係や相互作用がどの程度影響を与えるか？

主な発見

• 段階的SVMは、5つの遺伝子発現データセットのうち4つで最高の予測精度を達成し、Khanデータセットでは98.65%、Shippデータセットでは95.00%の精度を記録した。
• 元の完全なデータセットよりも次元削減済みデータセットでの分類性能が向上したため、ノイズ低減と特徴量選択が効果的であることが示された。
• PCA や RF-RFE と比較して、段階的SVMはデータセット全体にわたってより安定した性能を示し、性能のばらつきが最小限に抑えられた。一方、PCCベースの手法はわずかに差異を示した。
• Gordonデータセットでは、段階的SVMが98.61%の精度を達成し、元のデータ（95.89%）やPCA（99.23%）を上回ったが、より一貫性のある結果を示した。
• 本手法は計算コストが高かったが、変数の相互作用を無視するグリーディーで逐次的な選択プロセスのため、最適でない結果が得られた。
• ヒートマップと被験者間類似性の可視化により、段階的SVMを用いた次元削減済みデータセットが、意味のあるサンプル間関係性を保持していることが確認され、本手法の幾何的整合性が裏付けられた。