[論文レビュー] Using Dimension Reduction to Improve the Classification of High-dimensional Data

Andreas Grünauer, Markus Vincze|arXiv (Cornell University)|May 26, 2015

Machine Learning in Bioinformatics参考文献 3被引用数 10

ひとこと要約

本研究では、限られたトレーニングサンプルを伴う高次元構造的MRIデータに対して、ANOVA F検定特徴選択とPCAを用いた次元削減の有効性を評価する。結果として、両手法とも分類性能を向上させることを示し、特に特徴を12〜92に削減した場合、ANOVA F検定がPCAを一貫して上回ることが判明。RBF-SVMは92特徴での性能が最高に達する。

ABSTRACT

In this work we show that the classification performance of high-dimensional structural MRI data with only a small set of training examples is improved by the usage of dimension reduction methods. We assessed two different dimension reduction variants: feature selection by ANOVA F-test and feature transformation by PCA. On the reduced datasets, we applied common learning algorithms using 5-fold cross-validation. Training, tuning of the hyperparameters, as well as the performance evaluation of the classifiers was conducted using two different performance measures: Accuracy, and Receiver Operating Characteristic curve (AUC). Our hypothesis is supported by experimental results.

研究の動機と目的

• 限られたトレーニングサンプルを伴う高次元構造的MRIデータにおいて、次元削減が分類精度を向上させるかどうかを調査すること。
• 分類器性能の向上に寄与するフィルタベース特徴選択（ANOVA F検定）と特徴変換（PCA）の有効性を比較すること。
• 交差検証を用いて、低次元特徴空間における複数の分類器（k-NN、GNB、Ridge、SVM、SVM-RBF、RF）の性能を評価すること。
• 正解率とAUCの両方を性能指標として用い、ハイパーパrameterチューニングの影響を評価すること。
• 過学習を避けるために分類器性能を最大化する最適な特徴数／成分数を特定すること。

提案手法

• ANOVA F検定を用いて、クラス平均間の差の統計的有意性に基づき上位s個の特徴を選択する。
• PCAを用いて、分散を最大化する最初のs個の主成分で構成される低次元空間に元のデータを射影する。
• 5-fold交差検証を用いて、低次元化されたデータセット上で6つの分類器（k-NN、GNB、Ridge、SVM、SVM-RBF、RF）を訓練する。
• 各分類器のハイパーパrameterを、事前に定義された離散値の集合上でグリッドサーチにより最適化する。
• 正解率とAUCの両方を指標として性能を評価し、ハイパーパrameterチューニングと評価をそれぞれの指標に対して独立して実施する。
• 選択された特徴数（s = 12〜184）および主成分数（s = 3〜24）の変化に伴う分類器性能の比較を行う。

実験結果

リサーチクエスチョン

• RQ1 限られたトレーニング例を伴う高次元構造的MRIデータにおいて、次元削減は分類性能を向上させるか？
• RQ2 ANOVA F検定特徴選択とPCAのどちらの次元削減手法が、より優れた分類結果をもたらすか？
• RQ3 選択された特徴数または主成分数が、異なるアルゴリズムにおける分類器性能にどのように影響を与えるか？
• RQ4 性能指標の選択（正解率対AUC）が、最適なハイパーパrameter選択および最終的な分類器性能に影響を与えるか？
• RQ5 なぜ小標本、高次元設定下でガウス・ナイーブベイズ（GNB）が線形判別分析（LDA）を上回るのか？

主な発見

• ANOVA F検定特徴選択は、すべての分類器で性能向上をもたらし、最適な結果はs = 12特徴で得られ、全184特徴のデータセットと同等またはそれを上回る性能を示した。
• RBF-SVMはANOVA F検定を用いたs = 92特徴で最高性能を記録し、過学習のため、特徴数を増やしても性能が向上しないことが示された。
• PCAに基づく次元削減も性能向上をもたらし、最適な結果はs = 24成分で得られ、多くの分類器がその時点で最大性能に達した後、低下を示した。
• k-NNは主成分数に関係なく一貫して低い性能を示したが、SVM-RBFはすべての成分数で頑健で、他のすべての分類器を上回った。
• s > 12成分の場合、GNBはLDAを上回った。これはGNBの単純な仮定と、共分散行列推定が信頼性が低い小標本設定下での頑健性によるものである。
• PCA低次元化データにおけるs = 12成分での性能の低下は、次元削減の恩恵を超えて、ノイズや不関連成分が性能を劣化させる閾値を示している。