[论文解读] Materials Discovery using Max K-Armed Bandit

Nobuaki Kikkawa, Hiroshi Ohno|arXiv (Cornell University)|Dec 16, 2022

Machine Learning in Materials Science被引用 7

一句话总结

本文提出了一种用于材料发现的新型最大K-臂老虎机（Max K-Armed Bandit, MKB）算法，该算法利用最佳奖励期望改进（Expected Improvement, EI）的上置信界（Upper Confidence Bound, UCB）的伪值，以优先探索高潜力、高风险的材料候选。该方法具有渐近最优性，仅需一个超参数，在最优臂不确定的后期搜索阶段，其性能优于现有老虎机算法，在基于蒙特卡洛树搜索（Monte Carlo Tree Search, MCTS）的合成任务与分子设计任务中表现出色。

ABSTRACT

Search algorithms for the bandit problems are applicable in materials discovery. However, the objectives of the conventional bandit problem are different from those of materials discovery. The conventional bandit problem aims to maximize the total rewards, whereas materials discovery aims to achieve breakthroughs in material properties. The max K-armed bandit (MKB) problem, which aims to acquire the single best reward, matches with the discovery tasks better than the conventional bandit. Thus, here, we propose a search algorithm for materials discovery based on the MKB problem using a pseudo-value of the upper confidence bound of expected improvement of the best reward. This approach is pseudo-guaranteed to be asymptotic oracles that do not depends on the time horizon. In addition, compared with other MKB algorithms, the proposed algorithm has only one hyperparameter, which is advantageous in materials discovery. We applied the proposed algorithm to synthetic problems and molecular-design demonstrations using a Monte Carlo tree search. According to the results, the proposed algorithm stably outperformed other bandit algorithms in the late stage of the search process when the optimal arm of the MKB could not be determined based on its expectation reward.

研究动机与目标

• 解决传统老虎机算法（旨在最大化总奖励）与材料发现（旨在实现极端材料性能突破）之间的不匹配问题。
• 克服现有MKB算法对时间范围的依赖或需要多个超参数的局限性，这些在数据稀缺的材料科学中成本高昂。
• 开发一种适用于基于MCTS的自主材料发现流程的实用、稳定且高效的搜索算法。
• 引入一种与时间无关的虚拟机（Kikkawa的贪心虚拟机），以实现MKB算法的渐近最优性理论分析，其方式类似于传统老虎机算法。
• 首次将MKB算法实际应用于真实材料发现任务，包括基于MCTS的分子设计。

提出的方法

• 提出一种基于最大奖励期望改进（EI）的UCB伪值的选择指数，以平衡对高潜力臂的探索与对已知高性能臂的利用。
• 定义一种新虚拟机——Kikkawa的贪心虚拟机，使其能够在不依赖时间范围T的情况下实现渐近最优性分析，从而提供理论保证。
• 在UCB项中仅使用一个超参数（c），相比现有MKB方法需要多个参数，显著降低了调参负担。
• 在蒙特卡洛树搜索（MCTS）框架内实现该算法，以指导分子设计中顺序生成与评估材料。
• 从最初的P=10次随机试验中估计标准差参数σ，以稳定UCB公式中的置信区间。
• 推导理论边界，表明所提算法在MKB设置下具有渐近最优性，且能收敛至真实最优臂。

实验结果

研究问题

• RQ1 具有单一超参数的MKB算法是否能在材料发现任务中超越现有MKB方法？
• RQ2 使用最佳奖励期望改进（EI）的UCB是否能相比标准UCB或其他老虎机策略，实现对高风险、高回报材料候选的更优探索？
• RQ3 当仅凭期望奖励无法识别最优臂时，该算法在后期搜索中的表现如何？
• RQ4 能否为MKB问题定义一种与时间无关的虚拟机，以实现类似于传统老虎机的渐近最优性分析？
• RQ5 所提出的MKB算法在基于MCTS的分子设计任务中是否具有实际有效性，其中数据效率与突破潜力至关重要？

主要发现

• 所提MKB算法在搜索过程的后期阶段稳定优于其他老虎机算法，尤其在仅凭期望奖励无法确定最优臂时表现更优。
• 通过利用最佳奖励期望改进（EI）的UCB，该算法实现了渐近最优性，确保在理论保证下收敛至真实最优臂。
• 通过仅使用一个超参数（c），该方法显著减少了对耗时超参数调优的需求，而这是材料发现中的主要瓶颈。
• 引入Kikkawa的贪心虚拟机，为MKB问题构建了与传统老虎机问题相类似的理论分析框架，促进了分析与比较。
• 在基于MCTS的分子设计实验中，该算法比基线老虎机方法更快、更可靠地识别出高性能分子候选。
• 该方法在合成问题与真实世界分子设计中均表现出鲁棒性，一致展现出在识别极端性能材料属性方面的优越性。