[論文レビュー] Feature Selection Using Classifier in High Dimensional Data

Vijendra Singh, Shivani Pathak|arXiv (Cornell University)|Jan 5, 2014

Gene expression and cancer classification参考文献 6被引用数 3

ひとこと要約

本稿では、QDAおよびLDA分類器を用いてフィルタ法とラッパー法を組み合わせたハイブリッド特徴選択手法を提案し、高次元データを低次元化しながら分類性能を維持することを目的としている。実験結果から、フィルタ法（univariate基準に基づく）は、逐次特徴選択を用いたラッパー法よりも、特にバイオインフォマティクスデータセットにおいて低い誤分類誤差率を達成していることが示された。

ABSTRACT

Feature selection is frequently used as a pre-processing step to machine learning. It is a process of choosing a subset of original features so that the feature space is optimally reduced according to a certain evaluation criterion. The central objective of this paper is to reduce the dimension of the data by finding a small set of important features which can give good classification performance. We have applied filter and wrapper approach with different classifiers QDA and LDA respectively. A widely-used filter method is used for bioinformatics data i.e. a univariate criterion separately on each feature, assuming that there is no interaction between features and then applied Sequential Feature Selection method. Experimental results show that filter approach gives better performance in respect of Misclassification Error Rate.

研究の動機と目的

• 機械学習における高次元データの課題に対処し、特徴空間を縮小しながら分類精度を維持すること。
• 高次元設定におけるフィルタ法とラッパー法の特徴選択手法の有効性を比較すること。
• 次元削減のための特徴選択を支援するQDAおよびLDA分類器の性能を評価すること。
• univariateフィルタ法が逐次ラッパー法よりも誤分類誤差の観点で優れているかどうかを特定すること。
• バイオインフォマティクスデータセットにおける分類性能の向上に特徴選択がどの程度有効であるかを評価すること。

提案手法

• フィルタ法は、各特徴に対して独立してunivariate基準を適用し、相互作用を考慮しない前提で、個々の関連性に基づいて特徴をランク付け・選択する。
• ラッパー法は、QDAおよびLDAを評価基準として用いた逐次前向き選択（SFS）を用い、反復的に特徴サブセットを選択する。
• 特徴選択は、LDAおよびQDA分類器をベースモデルとして用い、サブセットの性能を評価する。
• フィルタアプローチは分類器の訓練を行わず、統計的基準に基づいて特徴を評価するが、ラッパーアプローチは分類器の正答率を評価指標として用いる。
• 両手法の誤分類誤差率への影響を評価するために、バイオインフォマティクスデータセット上で両手法を比較する。
• 性能評価は、複数のデータセットにわたり、主に誤分類誤差率を指標として行う。

実験結果

リサーチクエスチョン

• RQ1 高次元バイオインフォマティクスデータにおいて、フィルタ法はラッパー法よりも誤分類誤差率が低いと期待できるか？
• RQ2 特徴間の相互作用を無視した場合、univariateフィルタ基準は関連する特徴を効果的に選択できるか？
• RQ3 QDAおよびLDA分類器は、高次元データセットにおけるラッパー型特徴選択の評価器として有効に機能できるか？
• RQ4 特徴選択による次元削減は、分類性能をどの程度向上させるか？
• RQ5 高次元データにおいて、フィルタ法の特徴独立性の仮定は実際の状況でも妥当とされるか？

主な発見

• 評価したデータセット全体において、フィルタ法はラッパー法よりも低い誤分類誤差率を達成した。
• univariateフィルタ基準は、特徴間の相互作用を考慮しないままでも、関連する特徴を効果的に同定し、良好な性能を示した。
• QDAおよびLDAをラッパー分類器として用いた逐次特徴選択は、単純なフィルタ法を上回らなかった。
• ラッパーフレームワークでLDAおよびQDAを分類器として用いた場合、フィルタ法よりも分類精度が著しく向上しなかった。
• 結果から、特にバイオインフォマティクスの文脈において、フィルタ法はより効率的かつ効果的であると示唆された。
• 本研究は、特徴選択が誤分類誤差を顕著に低減できることを確認した。特に、フィルタ法は性能と計算コストの最良のトレードオフを提供した。