[論文レビュー] Selecting Efficient Features via a Hyper-Heuristic Approach

Mitra Montazeri, Mahdieh Soleymani Baghshah+1 more|arXiv (Cornell University)|Jan 20, 2016

Metaheuristic Optimization Algorithms Research参考文献 30被引用数 4

ひとこと要約

本稿では、探索と活用のバランスを取るために、16種類の局所探索ヒューリスティクス演算子から動的に選択を行う遺伝的アルゴリズムを監視者として用いた、効率的な特徴選択のためのハイパーヒューリスティクス手法を提案する。UCIデータセット上で評価された結果、歴史的パフォーマンスに基づいて検索戦略を知的に適応させることで、既存手法よりも精度と収束速度に優れた性能を発揮した。

ABSTRACT

By Emerging huge databases and the need to efficient learning algorithms on these datasets, new problems have appeared and some methods have been proposed to solve these problems by selecting efficient features. Feature selection is a problem of finding efficient features among all features in which the final feature set can improve accuracy and reduce complexity. One way to solve this problem is to evaluate all possible feature subsets. However, evaluating all possible feature subsets is an exhaustive search and thus it has high computational complexity. Until now many heuristic algorithms have been studied for solving this problem. Hyper-heuristic is a new heuristic approach which can search the solution space effectively by applying local searches appropriately. Each local search is a neighborhood searching algorithm. Since each region of the solution space can have its own characteristics, it should be chosen an appropriate local search and apply it to current solution. This task is tackled to a supervisor. The supervisor chooses a local search based on the functional history of local searches. By doing this task, it can trade of between exploitation and exploration. Since the existing heuristic cannot trade of between exploration and exploitation appropriately, the solution space has not been searched appropriately in these methods and thus they have low convergence rate. For the first time, in this paper use a hyper-heuristic approach to find an efficient feature subset. In the proposed method, genetic algorithm is used as a supervisor and 16 heuristic algorithms are used as local searches. Empirical study of the proposed method on several commonly used data sets from UCI data sets indicates that it outperforms recent existing methods in the literature for feature selection.

研究の動機と目的

• 大規模データセットにおける特徴サブセットの全組み合わせ評価の高コストな計算複雑性に対処すること。
• 探索と活用のバランスが不十分な固定ヒューリスティクス手法の限界を克服すること。
• ヒューリスティクスの歴史的パフォーマンスに基づいて、局所探索演算子を動的に選択するメカニズムを構築すること。
• 適応的検索戦略の選択を通じて、特徴選択における収束速度と分類精度を向上させること。

提案手法

• 遺伝的アルゴリズムが監視者として機能するハイパーヒューリスティクスフレームワークを設計し、16種類の異なる局所探索ヒューリスティクスの間で選択を行う。
• 各局所探索は、特徴サブセット空間の異なる領域に適した近傍探索戦略を表す。
• 監視者は、過去のパフォーマンス履歴に基づいて、各イテレーションで最も効果的な局所探索を選択する。
• 分類精度を用いて候補となる特徴サブセットの適応度を評価し、最適なサブセットに向けた探索を導く。
• ヒューリスティクスの動的切り替えにより、探索（多様な探索）と活用（洗練された探索）のバランスを保つ。
• 最先端の手法との性能比較を検証するため、複数のUCIベンチマークデータセットを用いた実験評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 動的かつ適応的な局所探索戦略の選択によって、ハイパーヒューリスティクスフレームワークは特徴サブセット選択を改善できるか？
• RQ2 遺伝的アルゴリズムの監視者統合が、特徴選択における探索と活用のトレードオフをどのように改善するか？
• RQ3 精度と収束速度の観点から、提案手法は既存のヒューリスティクスベースの特徴選択手法をどの程度上回るか？
• RQ4 ヒューリスティクスの動的選択は、多様なデータセットにおいて収束をより速くするか？
• RQ5 本手法は、特徴数やサンプル数が異なるさまざまなタイプのUCIベンチマークデータセットに一般化可能か？

主な発見

• 提案されたハイパーヒューリスティクス手法は、複数のUCIデータセットにおいて、既存の特徴選択手法よりも高い分類精度を達成した。
• 探索と活用のバランスを効果的にとることで、動的ヒューリスティクス選択による優れた戦略的適応により、収束速度が速くなった。
• 遺伝的アルゴリズムの監視者は、探索プロセスの異なる段階で最も適切な局所探索演算子を的確に特定し適用した。
• 16種類の多様なヒューリスティクス演算子の使用により、特徴サブセット探索空間の多様なトポロジーに適応可能だった。
• 実験結果から、本手法が最新の最先端手法よりも精度と収束速度の両面で優れていることが確認された。