[论文解读] Feature selection as Monte-Carlo Search in Growing Single Rooted Directed Acyclic Graph by Best Leaf Identification

Aurélien Pélissier, Atsuyoshi Nakamura+1 more|arXiv (Cornell University)|Nov 19, 2018

Artificial Intelligence in Games被引用 4

一句话总结

该论文提出了一种新颖的蒙特卡洛树搜索（MCTS）框架用于特征选择，通过将特征空间建模为一个不断增长的单根有向无环图（SR-DAG），利用基于置信区间的方法解决最优臂识别（BAI）和最优叶节点识别（BLI）问题。该方法在理论上保证了(ε, δ)-正确性，并具有样本复杂度的理论保证，在基准数据集上表现出色，由于改进的反向传播和扩展策略，在某些场景下优于FUSE。

ABSTRACT

Monte Carlo tree search (MCTS) has received considerable interest due to its spectacular success in the difficult problem of computer Go and also proved beneficial in a range of other domains. A major issue that has received little attention in the MCTS literature is the fact that, in most games, different actions can lead to the same state, that may lead to a high degree of redundancy in tree representation and unnecessary additional computational cost. We extend MCTS to single rooted directed acyclic graph (SR-DAG), and consider the Best Arm Identification (BAI) and the Best Leaf Identification (BLI) problem of an expanding SR-DAG of arbitrary depth. We propose algorithms that are (epsilon, delta)-correct in the fixed confidence setting, and prove an asymptotic upper bounds of sample complexity for our BAI algorithm. As a major application for our BLI algorithm, a novel approach for Feature Selection is proposed by representing the feature set space as a SR-DAG and repeatedly evaluating feature subsets until a candidate for the best leaf is returned, a proof of concept is shown on benchmark data sets.

研究动机与目标

• 为解决由于状态转移导致的MCTS冗余问题，将博弈/状态空间表示为单根有向无环图（SR-DAG）而非树结构。
• 将特征选择形式化为在动态SR-DAG中的最优叶节点识别（BLI）问题。
• 设计一种理论基础坚实的MCTS算法，实现对增长SR-DAG中BAI与BLI的(ε, δ)-正确性。
• 通过DAG结构共享等价状态的知识，提升样本效率并减少MCTS中的计算冗余。
• 在合成数据集与真实世界数据集上，通过BLI-MCDS算法验证了该方法的可行性。

提出的方法

• 将特征集合空间建模为一个不断增长的单根有向无环图（SR-DAG），其中节点表示特征子集，边表示特征的添加。
• 采用基于置信区间的选取策略，应用上置信界（UCB）原理，但使用后代节点的置信区间而非父节点的置信区间。
• 提出LUCB-exMCDS算法用于在动态SR-DAG中实现最优臂识别（BAI），确保(ε, δ)-正确性，并提供理论上的样本复杂度边界。
• 采用一种扩展策略（BAIAdd），根据叶节点的评估次数扩展DAG，优先选择有希望的子树。
• 使用“更新全部”反向传播策略，将置信区间传播至所有祖先节点，从而增强路径间知识共享。
• 采用RAVE评分与探索函数（β₁ 理论值，β₂ 实证值）指导DAG中节点的选择与扩展。

实验结果

研究问题

• RQ1 蒙特卡洛树搜索能否有效扩展至单根有向无环图（SR-DAG）以减少博弈与优化问题中因状态转移导致的冗余？
• RQ2 将特征选择建模为在动态SR-DAG中的最优叶节点识别（BLI）问题，是否能相比基于树的MCTS提升样本效率与准确性？
• RQ3 所提出的LUCB-exMCDS算法能否在增长SR-DAG中实现BAI的(ε, δ)-正确性，并具备可证明的样本复杂度边界？
• RQ4 在BLI任务中，“更新全部”反向传播策略与“更新下探”策略相比，在收敛性与性能上表现如何？
• RQ5 DAG-based MCTS框架在基准数据集上的特征选择任务中，相较于基于UCT的FUSE，其优越性在多大程度上得以体现？

主要发现

• LUCB-exMCDS算法在增长SR-DAG中实现了BAI的(ε, δ)-正确性，且样本复杂度具有渐近上界。
• BLI-MCDS算法成功识别了特征DAG中的最优叶节点，其“更新全部”策略相比FUSE的“更新下探”策略显著提升了反向传播效率。
• 在包含30个特征的线性人工数据集上，BLI-MCDS在寻找最优叶节点方面优于FUSE，而FUSE在相同任务中未能收敛。
• 在Madelon数据集（500个特征）上，FUSE因更高的叶节点探索率而略胜BLI-MCDS一筹，表明其对扩展策略与分支因子较为敏感。
• RAVE评分与β₂探索函数的引入提升了实际性能，减少了对每次扩展后完整DAG更新的依赖。
• 该框架表明，在MCTS中采用DAG表示可减少冗余并提升知识共享，尤其在特征选择等具有高状态转移频率的问题中效果显著。