[論文レビュー] Feature Selection and Feature Extraction in Pattern Analysis: A Literature Review

Benyamin Ghojogh, Maria N. Samad+5 more|arXiv (Cornell University)|May 7, 2019

Neural Networks and Applications被引用数 68

ひとこと要約

パターン分析における特徴選択と特徴抽出の理論、動機、手法クラスの総合的な調査、適用事例と比較を含む。

ABSTRACT

Pattern analysis often requires a pre-processing stage for extracting or selecting features in order to help the classification, prediction, or clustering stage discriminate or represent the data in a better way. The reason for this requirement is that the raw data are complex and difficult to process without extracting or selecting appropriate features beforehand. This paper reviews theory and motivation of different common methods of feature selection and extraction and introduces some of their applications. Some numerical implementations are also shown for these methods. Finally, the methods in feature selection and extraction are compared.

研究の動機と目的

• 識別性または表現を向上させるためのパターン分析における前処理の役割を定義する。
• 特徴選択と特徴抽出法、およびそれらの基準を分類し説明する。
• 一般的なフィルターとラッパー特徴選択法とその実務的考慮事項を調査する。
• 線形および非線形アプローチを含む次元削減および特徴抽出技術を調査し、適用について議論する。

提案手法

• 特徴、サンプル、ターゲットの問題設定と形式的表記を導入する。
• 特徴選択を、元の特徴のサブセットを選択して次元削減を行うこととして説明し、フィルターとラッパーのパラダイムを論じる。
• 主要なフィルタ法の詳細：相関基準、相互情報、カイ二乗、マルコフ包絡基準、整合性ベースのフィルタ、Fast Correlation-Based Filter、Interact、mRMR。
• ラッパー法の概要：逐次特徴選択（SFS/SBS、SFFS/SFBS）とメタヒューリスティクス（PSO、GA）。
• 特徴抽出を新しい表現の学習（p < d）として議論し、PCA（およびデュアルPCA）、カーネルPCA、MDS、Isomap、LLEを含む。教師あり対教師なしおよび線形対非線形に関する注意を付記。

実験結果

リサーチクエスチョン

• RQ1 情報量の多い特徴を選択する際の主要な基準とトレードオフは何ですか？
• RQ2 性能と計算複雑性の観点から、フィルターとラッパーのアプローチはどのように比較されますか？
• RQ3 一般的な次元削減および特徴抽出技術は何で、いつ各手法を使用すべきですか？
• RQ4 非線形埋め込み法（Isomap、LLE、カーネルPCA）は、実践において線形法とどのように関連しますか？

主な発見

• 文献は特徴選択を、さまざまな基準（関連性と冗長性）を用いたフィルターとラッパー法に分ける。
• 相関、相互情報、カイ二乗、マルコフ包絡ベースのアプローチなど、いくつかの明示的な基準が網羅されている。
• ラッパー法は特徴探索をモデル評価と結合し、逐次およびメタヒューリスティック戦略を含む。
• 特徴抽出は新しい低次元表現の学習に還元され、PCA、デュアルPCA、カーネルPCA、MDS、Isomap、LLEが主要技術として議論される。
• 非線形多様体法（Isomap、LLE、カーネルPCA）は、データの幾何を捉える際の線形法の限界に対処する。
• 本論文は異なる次元削減アプローチを統一的な枠組みの下で結びつけ、外部サンプルの取り扱いについて論じる。