[論文レビュー] Feature Selection Using Reinforcement Learning

Rasoul Sali, Sodiq Adewole+1 more|arXiv (Cornell University)|Jan 23, 2021

Evolutionary Algorithms and Applications参考文献 12被引用数 9

ひとこと要約

本稿では、特徴選択をマルコフ決定過程（MDP）としてモデル化することで強化学習（RL）アプローチを特徴選択に適用する。エージェントは逐次的に特徴を選択し、予測精度を最大化する。時間差学習アルゴリズムを用い、ε-greedy戦略と頑健な分類器による報酬評価を組み合わせることで、特徴空間を効率的に探索し、従来のフィルタ法やワラッパー法を上回る性能を達成。特にオーストラリアデータセットでは85.55%の高い精度を達成した。

ABSTRACT

With the decreasing cost of data collection, the space of variables or features that can be used to characterize a particular predictor of interest continues to grow exponentially. Therefore, identifying the most characterizing features that minimizes the variance without jeopardizing the bias of our models is critical to successfully training a machine learning model. In addition, identifying such features is critical for interpretability, prediction accuracy and optimal computation cost. While statistical methods such as subset selection, shrinkage, dimensionality reduction have been applied in selecting the best set of features, some other approaches in literature have approached feature selection task as a search problem where each state in the search space is a possible feature subset. In this paper, we solved the feature selection problem using Reinforcement Learning. Formulating the state space as a Markov Decision Process (MDP), we used Temporal Difference (TD) algorithm to select the best subset of features. Each state was evaluated using a robust and low cost classifier algorithm which could handle any non-linearities in the dataset.

研究の動機と目的

• 高次元データの増加に伴う課題に対処し、バイアスと分散を最小限に抑える最適な特徴サブセットの選択を目的とする。
• フィルタ法の特徴スコアリング（特徴間の依存関係を無視）やワラッパー法の計算コストの高さといった従来手法の限界を克服することを目的とする。
• RLを用いて特徴選択を逐次的意思決定問題として定式化し、特徴サブセットの効率的探索と活用を可能とすることを目的とする。
• RL駆動の特徴選択戦略により、モデルの解釈性、予測精度、計算効率を向上させることを目的とする。
• 異なる特徴空間サイズのデータセットにおいて、標準的なフィルタ法およびワラッパー法と比較して本手法の性能を評価することを目的とする。

提案手法

• 特徴選択問題をマルコフ決定過程（MDP）としてモデル化し、各状態は選択された特徴のサブセットを表す。
• アクションは、現在のサブセットに未選択の特徴を1つ追加することに対応し、特徴が追加されるごとにアクション空間は動的に縮小される。
• 時間差（TD）学習アルゴリズムにより、連続する状態間の分類精度の差に基づいて状態価値が更新され、報酬推定には頑健で低コストな分類器が用いられる。
• ε-greedy戦略により探索と活用のバランスを図る：状態に初めて訪問した際はランダムアクションが選択され、以降は蓄積された結果報酬（AORテーブル）に基づきグリーディアクションが選択される。
• エージェントはエピソードを経て逐次的に特徴を追加し、AORテーブルを更新し、すべての特徴が追加されたか、停止条件を満たした時点で終了する。
• 新規ノードに到達した際にランダム選択に切り替えるハイブリッド探索フェーズを導入し、特徴選択の多様性を維持する。

実験結果

リサーチクエスチョン

• RQ1 強化学習は、意味的な状態空間とアクション空間を持つ逐次的意思決定問題として特徴選択を効果的にモデル化できるか？
• RQ2 提案手法のRLベース特徴選択法は、従来のフィルタ法およびワラッパー法と比較して、精度と効率の面で優れているか？
• RQ3 AORに基づく価値更新を用いたε-greedy戦略は、特徴サブセット選択における探索と収束性をどの程度向上させるか？
• RQ4 異なる特徴数とサンプル数を有するデータセットにおいて、RLベース手法のスケーラビリティはどの程度か？
• RQ5 RLエージェントは、全探索を伴わずに、一貫して高パフォーマンスな特徴サブセットを学習できるか？

主な発見

• RLベース手法はオーストラリアデータセットで85.55% ± 0.039の分類精度を達成し、標準的なフィルタ法およびワラッパーベースラインを上回った。
• 乳がん予後予測（Breast Cancer Wisconsin）データセットでは76.29% ± 0.007の精度に達し、中規模の特徴空間においても優れた性能を示した。
• 60特徴を有するConnectionist Benchデータセットでは73.69% ± 0.108の精度を達成し、より大きな特徴集合へのスケーラビリティを示した。
• ε値を増加させることで状態訪問率が上昇し、ε-greedy戦略による探索制御の有効性が裏付けられた。
• オーストラリアデータセットでは50エピソード目までに状態価値関数が約3.5の最大値に達し、時間経過に伴う学習進捗が確認された。
• 比較的性能プロットを通じて、フィルタ法と比較してRLエージェントの特徴順位付け精度が優れていたことが示された。