[论文解读] Monte Carlo Tree Search based Variable Selection for High Dimensional Bayesian Optimization

Lei Song, Ke Xue+2 more|arXiv (Cornell University)|Oct 4, 2022

Metaheuristic Optimization Algorithms Research被引用 10

一句话总结

该论文提出 MCTS-VS，一种基于蒙特卡洛树搜索的高维贝叶斯优化变量选择方法，通过迭代识别并优化关键变量子集，显著降低计算成本，同时在合成问题和真实世界任务（如神经架构搜索和 MuJoCo 运动控制任务）中实现最先进性能。

ABSTRACT

Bayesian optimization (BO) is a class of popular methods for expensive black-box optimization, and has been widely applied to many scenarios. However, BO suffers from the curse of dimensionality, and scaling it to high-dimensional problems is still a challenge. In this paper, we propose a variable selection method MCTS-VS based on Monte Carlo tree search (MCTS), to iteratively select and optimize a subset of variables. That is, MCTS-VS constructs a low-dimensional subspace via MCTS and optimizes in the subspace with any BO algorithm. We give a theoretical analysis of the general variable selection method to reveal how it can work. Experiments on high-dimensional synthetic functions and real-world problems (i.e., NAS-bench problems and MuJoCo locomotion tasks) show that MCTS-VS equipped with a proper BO optimizer can achieve state-of-the-art performance.

研究动机与目标

• 解决高维黑箱函数贝叶斯优化中的维度灾难问题。
• 克服现有变量选择方法（如 Dropout）的局限性，后者随机选择变量且缺乏自适应能力。
• 开发一种系统化、自适应的变量选择机制，提升高维贝叶斯优化中的样本效率并降低计算成本。
• 对变量选择方法进行理论分析，理解其对遗憾和复杂度的影响，表明选择重要变量可降低遗憾和复杂度。
• 通过实证验证，MCTS-VS 在多样化高维优化问题中实现最先进性能，包括神经架构搜索和强化学习任务。

提出的方法

• MCTS-VS 使用蒙特卡洛树搜索（MCTS）探索并评估变量子集，根据其对函数改进的潜在贡献对变量进行排序。
• 在每次迭代中，MCTS 在变量子集上构建搜索树，利用基于模拟的回溯（rollouts）估计每个变量子集的期望改进。
• 仅对选定的变量子集（被认为重要）使用任何标准贝叶斯优化算法（如原始 BO、TuRBO）进行优化，而将不重要的变量使用历史值固定。
• 该方法在迭代过程中动态调整所选变量集合，避免对函数结构的先验知识。
• 理论分析提供了遗憾和复杂度的边界，推广了现有结果（如 GP-UCB、Dropout），表明良好的变量选择可降低遗憾和计算成本。
• 该框架具有模块化特性，可与任何贝叶斯优化算法（如 SAASBO）结合，进一步加速超高维设置下的优化。

实验结果

研究问题

• RQ1 基于 MCTS 的变量选择是否在高维贝叶斯优化中优于随机选择（如 Dropout）？
• RQ2 变量选择如何影响高维贝叶斯优化中的累积遗憾和计算复杂度？
• RQ3 MCTS-VS 是否能识别出高维函数中的有意义、关键变量，且这是否带来更好的优化性能？
• RQ4 将 MCTS-VS 与先进贝叶斯优化算法（如 SAASBO、TuRBO）结合是否能在不牺牲解质量的前提下实现显著加速？
• RQ5 在低样本、高维贝叶斯优化场景下，MCTS-VS 与非贝叶斯优化方法（如 LASSO）的变量选择方法相比表现如何？

主要发现

• MCTS-VS 在所有测试的合成函数（Hartmann 6×300、6×500、Levy 10×100、10×300）中均显著优于基于 Dropout 的变量选择，实现更高的平均目标值。
• 在 Hartmann 6×500 上，MCTS-VS-TuRBO 的平均目标值为 3.012（±0.434），显著优于 Dropout（2.629）和 LA-MCTS-TuRBO（2.619），Wilcoxon 符号秩检验的 p 值 < 0.05。
• 在 Hartmann 6×500 上，MCTS-VS-SAASBO 相较于 SAASBO 实现了超过 7 倍的加速，表明通过降维显著降低了运行时间。
• 在 50 次统计测试中，MCTS-VS-TuRBO 在所有合成函数上均显著优于 LA-MCTS-TuRBO，证实了基于 MCTS 的选择优于启发式方法。
• 当使用原始 BO 时，LASSO-VS 表现劣于 Dropout，可能是因为在样本有限时线性模型拟合效果差，凸显了 LASSO 在低数据贝叶斯优化场景中的局限性。
• 该方法成功识别出高维问题中的关键变量，表现为性能持续提升和搜索空间缩小，验证了变量选择优势的理论分析。