[論文レビュー] Feature Selection and Feature Extraction in Pattern Analysis: A Literature Review

Benyamin Ghojogh, Maria N. Samad+5 more|arXiv (Cornell University)|May 7, 2019

Face and Expression Recognition参考文献 97被引用数 44

ひとこと要約

この論文は、パターン分析の特徴選択と特徴抽出の理論、動機、および応用を総説し、主要な手法を Brief numerical implementations and comparisons を含む簡潔な比較でカタログ化する。

ABSTRACT

Pattern analysis often requires a pre-processing stage for extracting or selecting features in order to help the classification, prediction, or clustering stage discriminate or represent the data in a better way. The reason for this requirement is that the raw data are complex and difficult to process without extracting or selecting appropriate features beforehand. This paper reviews theory and motivation of different common methods of feature selection and extraction and introduces some of their applications. Some numerical implementations are also shown for these methods. Finally, the methods in feature selection and extraction are compared.

研究の動機と目的

• パターン分析における前処理の必要性を動機づけ、識別性と表現力を向上させる。
• 主要な特徴選択と特徴抽出法を分類し、説明する。
• 各手法が最適化しようとする目的（関連性、冗長性、一致性等）と、実用的な実装を要約する。
• 分類、回帰、クラスタリングにおける方法の比較的な視点と典型的な適用を提供する。

提案手法

• 特徴選択/抽出に用いるサンプル、特徴、ターゲットの形式表記を定義する。
• 特徴選択を d から p 次元への圧縮として説明し、p ≤ d、選択された特徴は元の特徴のサブセット（特徴選択）または新しい特徴空間を形成する（特徴抽出）ことを示す。
• フィルタ法を、関連性と冗長性を含む（CC/PCC、MI/IG、χ²統計、マルコフ毯、整合性ベースのフィルタ、高速相関ベースのフィルタ、相互作用ベースの手法）を詳述する。
• サブセット探索にモデルを埋め込むラッパー法を概説し、逐次（SFS/SBS）および浮動型の変種、並びに組合せ探索のためのメタヒューリスティクス（PSO、GA）を含む。
• 特徴抽出を d ＜ p の次元削減として説明し、マニホールド仮説に言及し、監督付き対監督なし、線形対非線形アプローチを区別する。
• PCA（デュアルPCA含む）、カーネルPCA、MDS、Isomap、LLEなどの人気の抽出技法を要約し、再構成、アウトオブサンプル処理、非線形性に関する注意点を記載する。

実験結果

リサーチクエスチョン

• RQ1 パターン分析における特徴選択と特徴抽出の主要なカテゴリと評価基準は何か。
• RQ2 主要なフィルター、ラッパー、およびメタヒューリスティック手法は、目的と使用法でどのように異なるか。
• RQ3 線形および非線形の一般的な特徴抽出技術は何か、アウトオブサンプルデータと非線形性をどのように扱うか。
• RQ4 分類、回帰、クラスタリングにおけるこれらの手法の実務的考慮事項、制限、典型的な適用は何か。
• RQ5 レビュー対象の手法は、関連性、冗長性、一致性、計算効率の観点で概念的にどのように比較できるか。

主な発見

• 論文は特徴選択をフィルターとラッパーのアプローチに分類し、いくつかの具体的手法（例：CC、MI、χ²、MB、CB、FCBF、Interact、mRMR）を導入している。
• 探索対象となる特徴サブセットを検討するための逐次およびメタヒューリスティック探索（PSO、GA）を含むラッパー戦略を扱う。
• 特徴抽出については、PCA（デュアルPCAを含む）、カーネルPCA、MDS、Isomap、LLEを調査し、線形/非線形および監督/非監督設定に結びつけている。
• 抽出法をマニホールド仮説と結びつけ、特にPCA変種とカーネル法についてアウトオブサンプルの射影/再構成の考慮を明確化している。
• 論文は比較的視点を提供し、パターン分析タスク全体にわたる実務上のニュアンスと適用分野を記している。
• 実務家を理論的基盤、方法論的選択、およびサンプル実装へと導くことを目的としている。