[論文レビュー] Materials Discovery using Max K-Armed Bandit

Nobuaki Kikkawa, Hiroshi Ohno|arXiv (Cornell University)|Dec 16, 2022

Machine Learning in Materials Science被引用数 7

ひとこと要約

本論文は、最高報酬の期待改善量（EI）の上位信頼区間（UCB）の擬似値を用いて、高い可能性・高いリスクを伴う材料候補の探索を優先する、材料発見に特化した新規な最大K腕バンディット（MKB）アルゴリズムを提案する。この手法は漸近的に最適であり、ハイパーパラメータが1つだけ必要で、最適な腕が不確実な後期探索段階において、既存のバンディットアルゴリズムを上回る性能を示しており、モンテカルロ木探索（MCTS）を用いた合成的および分子設計タスクにおいて強力な性能を発揮している。

ABSTRACT

Search algorithms for the bandit problems are applicable in materials discovery. However, the objectives of the conventional bandit problem are different from those of materials discovery. The conventional bandit problem aims to maximize the total rewards, whereas materials discovery aims to achieve breakthroughs in material properties. The max K-armed bandit (MKB) problem, which aims to acquire the single best reward, matches with the discovery tasks better than the conventional bandit. Thus, here, we propose a search algorithm for materials discovery based on the MKB problem using a pseudo-value of the upper confidence bound of expected improvement of the best reward. This approach is pseudo-guaranteed to be asymptotic oracles that do not depends on the time horizon. In addition, compared with other MKB algorithms, the proposed algorithm has only one hyperparameter, which is advantageous in materials discovery. We applied the proposed algorithm to synthetic problems and molecular-design demonstrations using a Monte Carlo tree search. According to the results, the proposed algorithm stably outperformed other bandit algorithms in the late stage of the search process when the optimal arm of the MKB could not be determined based on its expectation reward.

研究の動機と目的

• 従来のバンディットアルゴリズム（累積報酬を最大化することを目的としている）と、極端な材料特性のブレークスルーを求める材料発見の間にある不一致を解消すること。
• 時間枠に依存するか、複数のハイパーパラメータを必要とする既存のMKBアルゴリズムの限界を克服し、データが乏しい材料科学においてコストがかかるハイパーパラメータの調整を回避すること。
• MCTSを用いた自律的材料発見パイプラインに特化した、実用的で安定的かつ効率的な探索アルゴリズムを開発すること。
• 時間に依存しないオラクル（吉川のグリーディオラクル）を導入し、従来のバンディットと同様の方法でMKBアルゴリズムの理論的解析を可能にすること。
• MKBアルゴリズムを、実際の材料発見タスク、特にMCTSを用いた分子設計に初めて実用的に応用すること。

提案手法

• 最大報酬の期待改善量（EI）のUCBの擬似値に基づく選択インデックスを提案し、高い可能性を有する腕の探索と、既知の優れたパフォーマンスを示す腕の活用のバランスを図る。
• 時間枠Tに依存しない漸近的最適性解析を可能にする新規なオラクル「吉川のグリーディオラクル」を定義する。
• UCB項のための1つのハイパーパラメータ（c）を用いることで、既存のMKB手法が複数のパrameterを必要とするのと比較して、調整の負担を大幅に軽減する。
• 分子設計における逐次的材料生成と評価を支援するために、モンテカルロ木探索（MCTS）フレームワーク内にアルゴリズムを実装する。
• UCB式の信頼区間を安定化させるために、最初のP=10回のランダム試行から標準偏差パラメータσを推定する。
• 理論的境界を導出し、提案手法がMKB設定下で漸近的に最適であり、真の最良腕への収束が理論的保証のもとで達成されることを示す。

実験結果

リサーチクエスチョン

• RQ1 1つのハイパーパラメータを有するMKBアルゴリズムが、材料発見タスクにおいて既存のMKB手法を上回る性能を発揮できるか？
• RQ2 最高報酬の期待改善量（EI）のUCBを用いることで、標準的なUCBや他のバンディット戦略と比較して、高いリスク・高い報酬の材料候補の探索がより効果的に行えるか？
• RQ3 最適な腕が期待報酬だけでは特定できない後期探索段階において、提案手法はどのように性能を発揮するか？
• RQ4 時間に依存しないオラクルをMKB問題に定義可能か？これにより、従来のバンディットと同様の漸近的最適性解析が可能になるか？
• RQ5 MCTSを用いた分子設計タスクにおいて、提案されたMKBアルゴリズムは、データ効率とブレークスルーの可能性が重要な状況で実用的かつ効果的か？

主な発見

• 提案されたMKBアルゴリズムは、最適な腕が期待報酬から単独では特定できない状況において、探索プロセスの後期段階で安定的に他のバンディットアルゴリズムを上回った。
• 最高報酬の期待改善量（EI）のUCBを活用することで、理論的保証のもとで真の最良腕への収束を実現し、漸近的に最適な性能を達成した。
• 1つのハイパーパラメータ（c）のみを用いることで、材料発見において大きな障壁となる時間のかかるハイパーパラメータチューニングの必要性を顕著に低減した。
• 吉川のグリーディオラクルの導入により、従来のバンディット問題と類似した理論的枠組みをMKBに構築でき、解析と比較が容易になった。
• MCTSベースの分子設計実験では、提案手法はベースラインのバンディット手法と比較して、より速くかつ信頼性高く高性能な分子候補を同定できた。
• 合成問題および実世界の分子設計において、本手法は極値の材料特性を同定する面で一貫した優位性を示し、頑健性を確認した。