[论文解读] AutoFS: Automated Feature Selection via Diversity-aware Interactive Reinforcement Learning

Wei Fan, Kunpeng Liu+4 more|arXiv (Cornell University)|Aug 27, 2020

Evolutionary Algorithms and Applications参考文献 26被引用 4

一句话总结

本文提出 AutoFS，一种交互式强化学习框架，通过将多种具备专长的训练者——K-Best 和基于决策树的训练者——整合到多智能体强化学习设置中，实现了自动化特征选择中有效性与效率的平衡。通过识别果断型与犹豫型智能体，并应用混合教学策略，AutoFS 加速了收敛速度，在真实世界数据集上优于传统方法与强化基线方法。

ABSTRACT

In this paper, we study the problem of balancing effectiveness and efficiency in automated feature selection. Feature selection is a fundamental intelligence for machine learning and predictive analysis. After exploring many feature selection methods, we observe a computational dilemma: 1) traditional feature selection methods (e.g., mRMR) are mostly efficient, but difficult to identify the best subset; 2) the emerging reinforced feature selection methods automatically navigate feature space to explore the best subset, but are usually inefficient. Are automation and efficiency always apart from each other? Can we bridge the gap between effectiveness and efficiency under automation? Motivated by such a computational dilemma, this study is to develop a novel feature space navigation method. To that end, we propose an Interactive Reinforced Feature Selection (IRFS) framework that guides agents by not just self-exploration experience, but also diverse external skilled trainers to accelerate learning for feature exploration. Specifically, we formulate the feature selection problem into an interactive reinforcement learning framework. In this framework, we first model two trainers skilled at different searching strategies: (1) KBest based trainer; (2) Decision Tree based trainer. We then develop two strategies: (1) to identify assertive and hesitant agents to diversify agent training, and (2) to enable the two trainers to take the teaching role in different stages to fuse the experiences of the trainers and diversify teaching process. Such a hybrid teaching strategy can help agents to learn broader knowledge, and, thereafter, be more effective. Finally, we present extensive experiments on real-world datasets to demonstrate the improved performances of our method: more efficient than existing reinforced selection and more effective than classic selection.

研究动机与目标

• 解决自动化特征选择中的计算困境：在有效性（找到最优子集）与效率（快速收敛）之间取得平衡。
• 通过引入具备专家知识的外部训练者，提升基于强化学习的特征选择的样本效率。
• 开发一种混合教学策略，通过选择不同类型的智能体（果断型 vs. 犹豫型）并利用多位训练者的互补优势，实现训练多样化。
• 证明结合自我探索与交互式、多样化的教师指导，可实现更快的收敛速度与更优的特征子集质量。

提出的方法

• 将特征选择问题建模为多智能体交互式强化学习问题，每个智能体代表一个特征选择器，可执行选择/不选择动作。
• 引入两位外部训练者：基于 K-Best 的训练者与基于决策树的训练者，分别向智能体提供策略特定的建议。
• 识别果断型智能体（决策自信）与犹豫型智能体（决策不确定），仅对后者进行选择性指导，以提升学习效率。
• 采用混合教学策略，在不同学习阶段动态分配两位训练者的教学角色，融合多样化知识并增强探索能力。
• 使用经验回放机制，记忆单元存储状态-动作-奖励的转换数据，并通过 Adam 优化器训练策略网络，结合 ε-greedy 探索策略。
• 将下游任务固定为决策树分类器，并采用默认的 scikit-learn 设置，以确保方法间公平比较。

实验结果

研究问题

• RQ1 外部、具备专长的训练者是否能在不牺牲有效性的前提下，提升基于强化学习的特征选择的样本效率？
• RQ2 通过智能体选择（果断型 vs. 犹豫型）与多位训练者参与的多样化教学过程，对学习性能有何影响？
• RQ3 结合 K-Best 与基于决策树的指导的混合教学策略，是否优于单一训练者或基线强化学习方法？
• RQ4 交互式强化学习在多大程度上可减少找到高性能特征子集所需的探索步数？

主要发现

• AutoFS 搭配混合教学策略在四个真实世界数据集上均取得了最高的整体最佳准确率，优于传统特征选择方法与基础强化特征选择方法（MARLFS）。
• 基于 K-Best 的训练者与基于决策树的训练者各自均提升了收敛速度，且在 1,500 次探索步以内达到高于 MARLFS 的准确率。
• 混合教学策略在收敛速度与最终性能上均优于单独使用任一训练者，证明了互补策略知识融合的优势。
• 通过针对性地向犹豫型智能体提供指导，该方法显著减少了识别高性能特征子集所需的步数，从而提升了学习效率。