[論文レビュー] AutoFS: Automated Feature Selection via Diversity-aware Interactive Reinforcement Learning

Wei Fan, Kunpeng Liu+4 more|arXiv (Cornell University)|Aug 27, 2020

Evolutionary Algorithms and Applications参考文献 26被引用数 4

ひとこと要約

本稿では、多様で熟練したトレーナー（K-Bestおよび意思決定木ベース）をマルチエージェント強化学習の枠組みに統合することで、自動特徴選択における効果性と効率性のバランスを図る、インタラクティブ強化学習フレームワークAutoFSを提案する。的確な意思決定を行うアジェントと迷いのあるアジェントを特定し、ハイブリッドな指導戦略を適用することで、収束を加速し、実世界のデータセットにおいて従来手法および強化学習ベースのベースラインを上回る優れた性能を達成する。

ABSTRACT

In this paper, we study the problem of balancing effectiveness and efficiency in automated feature selection. Feature selection is a fundamental intelligence for machine learning and predictive analysis. After exploring many feature selection methods, we observe a computational dilemma: 1) traditional feature selection methods (e.g., mRMR) are mostly efficient, but difficult to identify the best subset; 2) the emerging reinforced feature selection methods automatically navigate feature space to explore the best subset, but are usually inefficient. Are automation and efficiency always apart from each other? Can we bridge the gap between effectiveness and efficiency under automation? Motivated by such a computational dilemma, this study is to develop a novel feature space navigation method. To that end, we propose an Interactive Reinforced Feature Selection (IRFS) framework that guides agents by not just self-exploration experience, but also diverse external skilled trainers to accelerate learning for feature exploration. Specifically, we formulate the feature selection problem into an interactive reinforcement learning framework. In this framework, we first model two trainers skilled at different searching strategies: (1) KBest based trainer; (2) Decision Tree based trainer. We then develop two strategies: (1) to identify assertive and hesitant agents to diversify agent training, and (2) to enable the two trainers to take the teaching role in different stages to fuse the experiences of the trainers and diversify teaching process. Such a hybrid teaching strategy can help agents to learn broader knowledge, and, thereafter, be more effective. Finally, we present extensive experiments on real-world datasets to demonstrate the improved performances of our method: more efficient than existing reinforced selection and more effective than classic selection.

研究の動機と目的

• 自動特徴選択における計算的ジレンマに対処すること：効果性（最適なサブセットの特定）と効率性（高速な収束）の両立。
• 熟練したトレーナーからの外部的で専門的な知識を統合することで、強化学習に基づく特徴選択におけるサンプル効率を向上させること。
• 異なるアジェント（的確な意思決定を行う者 vs. 迷いのある者）を選択し、複数のトレーナーの補完的強みを活用するハイブリッド指導戦略を開発すること。
• 自己探索とインタラクティブで多様な教師の指導を組み合わせることで、収束が速くなり、より優れた特徴サブセットの品質が向上することを実証すること。

提案手法

• 複数のエージェントを用いたインタラクティブ強化学習問題として特徴選択を定式化し、各エージェントは選択／非選択の行動を取る特徴選択器を表す。
• 2つの外部トレーナーを導入：K-Bestベースのトレーナーと意思決定木ベースのトレーナーで、それぞれ戦略固有の助言をエージェントに提供する。
• 的確な意思決定を行うアジェント（自信がある）と迷いのあるアジェント（不確実性がある）を特定し、後者にのみ選択的に助言することで学習効率を向上させる。
• 学習の異なる段階で2つのトレーナーに動的に指導役割を割り当てることで、多様な知識を融合させ、探索を強化するハイブリッド指導戦略を採用する。
• 経験再生を用い、状態-行動-報酬の遷移を格納するメモリユニットを活用し、Adam最適化アルゴリズムを用いて方策ネットワークを訓練する。ε-greedy探索を併用する。
• 公平な比較のため、下流タスクをデフォルトのscikit-learn設定を用いた決定木分類器に固定する。

実験結果

リサーチクエスチョン

• RQ1 外部的で熟練したトレーナーは、効果性を損なわず、強化学習に基づく特徴選択におけるサンプル効率を向上させることができるか？
• RQ2 アジェント選択（的確な意思決定を行う者 vs. 迷いのある者）と複数のトレーナーを用いた指導プロセスの多様化は、学習パフォーマンスにどのように影響するか？
• RQ3 K-Bestおよび意思決定木ベースの指導を組み合わせたハイブリッド指導戦略は、単一のトレーナーまたはベースラインの強化学習手法を上回るか？
• RQ4 インタラクティブ強化学習は、優れた特徴サブセットを特定するために必要な探索ステップ数をどの程度削減できるか？

主な発見

• ハイブリッド指導戦略を用いたAutoFSは、4つの実世界データセットにおいて、従来の特徴選択手法および基本的な強化特徴選択（MARLFS）を上回る最高の全体的正解率を達成した。
• K-Bestベースのトレーナーと意思決定木ベースのトレーナーは、それぞれMARLFSよりも収束速度を向上させ、1,500ステップ以内にMARLFSを上回る高い正解率に到達した。
• ハイブリッド指導戦略は、単独で使用したトレーナーと比較して、より速い収束と優れた最終パフォーマンスを実現し、補完的戦略からの知識統合の利点を示した。
• 迷いのあるアジェントに対して的確な助言を提供することで、高品質な特徴サブセットを特定するためのステップ数を顕著に削減し、学習効率を向上させた。