[論文レビュー] Review and Evaluation of Feature Selection Algorithms in Synthetic Problems

Lluís Belanche, Félix F. González|arXiv (Cornell University)|Jan 12, 2011

Evolutionary Algorithms and Applications参考文献 23被引用数 35

ひとこと要約

この論文は、既知の最適解を持つ合成データセットにおいて特徴選択アルゴリズム（FSAs）を評価し、FSAsの出力と最適サブセットとの一致度を定量化するスコア測定法を導入している。結果は、特徴の無関係性や重複性といったデータ特性に強く依存しており、単一のアルゴリズムや単一のサンプルに依存する手法の信頼性の低さを示しており、頑健性を高めるためにハイブリッド手法とリサンプリングを提唱している。

ABSTRACT

The main purpose of Feature Subset Selection is to find a reduced subset of attributes from a data set described by a feature set. The task of a feature selection algorithm (FSA) is to provide with a computational solution motivated by a certain definition of relevance or by a reliable evaluation measure. In this paper several fundamental algorithms are studied to assess their performance in a controlled experimental scenario. A measure to evaluate FSAs is devised that computes the degree of matching between the output given by a FSA and the known optimal solutions. An extensive experimental study on synthetic problems is carried out to assess the behaviour of the algorithms in terms of solution accuracy and size as a function of the relevance, irrelevance, redundancy and size of the data samples. The controlled experimental conditions facilitate the derivation of better-supported and meaningful conclusions.

研究の動機と目的

• 制御された合成実験環境において、基本的な特徴選択アルゴリズム（FSAs）のパフォーマンスを評価すること。
• FSAsの出力と既知の最適特徴サブセットとの一致度を定量化するスコア測定法を構築すること。
• 関連性、無関係性、重複性、およびサンプルサイズといった要因が、FSAsの正確性と解のサイズに与える影響を調査すること。
• 特にデータが限られている場合や構造的知識が不十分な場合に、単一のアルゴリズムや単一のサンプルによるFSAs評価の信頼性の低さに疑問を呈すること。
• 特徴サブセット評価の信頼性を向上させるために、アルゴリズムの原理的組み合わせとリサンプリング技術の活用を提唱すること。

提案手法

• 関連特徴、無関係特徴、重複特徴の割合を制御した合成データセットを生成し、さまざまなデータ条件を模擬する。
• 関連性、無関係性、重複性を考慮して、FSAsが選択した特徴サブセットと既知の最適サブセットとの一致度を測定するスコア測定法を定義する。
• W-Sfgやフィルタベース手法などの複数のFSAs実装を、特徴数やサンプルサイズが異なるさまざまな合成問題に適用する。
• 既知の最適解を持つ一貫したベンチマークスイートを用いることで、FSAsパフォーマンスの自動的かつ信頼性の高い比較が可能になる。
• 有限サンプルサイズ下での関連性推定の確率的性質を考慮するため、リサンプリング技術の導入を推奨する。
• 反例実験により、分類器（例：ナイーブベイズ）の性能が提案スコア測定法と常に相関しないことが示され、評価の不整合性が明らかになった。

実験結果

リサーチクエスチョン

• RQ1 合成データにおいて、既知の最適解と比較した場合、異なる特徴選択アルゴリズムの解の正確性とサイズはどのように異なるか？
• RQ2 データセット内の関連特徴、無関係特徴、重複特徴の割合が、FSAsのパフォーマンスにどの程度影響を与えるか？
• RQ3 サンプルサイズは、合成環境下での特徴選択アルゴリズムの信頼性と正確性にどのように影響するか？
• RQ4 訓練済みのインダクタ（例：ナイーブベイズ）のパフォーマンスと、提案スコア測定法によるサブセット品質の間には強い相関があるか？
• RQ5 データの構造的知識が限られている、あるいは曖昧な状況下でも、単一のFSAsが最適特徴サブセットを信頼性を持って特定できるか？

主な発見

• 特徴選択アルゴリズムのパフォーマンスは、全特徴数に比して無関係特徴および重複特徴の割合に強く依存する。
• ナイーブベイズのような信頼性の高いインダクタを用いても、特徴サブセットのパフォーマンス評価と提案スコア測定法との間には相関が必ずしも存在せず、サブセット品質の誤評価の可能性が示された。
• GMonks問題における10回の実験では、分類器の精度が同程度（例：約0.88）であったにもかかわらず、スコアは0.412から0.730まで広範にわたって変動し、評価指標間の不整合が明確に示された。
• W-Sfgの段階的性質により、完全に無関係な特徴の追加によって分類器の性能が向上する事例が生じ、特定の条件下で最適化の挙動が誤っていることが示された。
• 構造的知識が限られている状況では、単一のFSAsや単一のデータサンプルに依存すると、信頼性の低い結論が導かれることが明らかになった。
• 本研究は、ハイブリッドアルゴリズムとリサンプリング技術が、特徴サブセットパフォーマンスのより頑健で原理的な評価に不可欠であると結論づけた。