[論文レビュー] Practical Massively Parallel Monte-Carlo Tree Search Applied to Molecular Design

Xiufeng Yang, Tanuj Kr Aasawat+1 more|arXiv (Cornell University)|Jun 18, 2020

Artificial Intelligence in Games参考文献 37被引用数 9

ひとこと要約

本論文は、分散メモリシステム上で1,000台のワーカーにまで効率的にスケーリング可能な、新規の分散型・大規模並列モンテカルロ木探索（MP-MCTS）アルゴリズムを提案する。仮想損失と木分割を用いてスケーリング時における探索品質を維持することで、MP-MCTSは非並列MCTSが42時間かけて達成する成果を10分で達成し、ベイズ最適化や強化学習と組み合わせた複雑なディープラーニングモデルを用いた最先端手法を上回る性能を示した。

ABSTRACT

It is common practice to use large computational resources to train neural networks, as is known from many examples, such as reinforcement learning applications. However, while massively parallel computing is often used for training models, it is rarely used for searching solutions for combinatorial optimization problems. In this paper, we propose a novel massively parallel Monte-Carlo Tree Search (MP-MCTS) algorithm that works efficiently for 1,000 worker scale, and apply it to molecular design. This is the first work that applies distributed MCTS to a real-world and non-game problem. Existing work on large-scale parallel MCTS show efficient scalability in terms of the number of rollouts up to 100 workers, but suffer from the degradation in the quality of the solutions. MP-MCTS maintains the search quality at larger scale, and by running MP-MCTS on 256 CPU cores for only 10 minutes, we obtained candidate molecules having similar score to non-parallel MCTS running for 42 hours. Moreover, our results based on parallel MCTS (combined with a simple RNN model) significantly outperforms existing state-of-the-art work. Our method is generic and is expected to speed up other applications of MCTS.

研究の動機と目的

• 実世界の組み合わせ最適化問題、特に分子設計において、大規模かつ分散型の並列MCTSが不足している現状に対処すること。
• 100ワーカーを超えると解の品質が低下する既存の並列MCTS手法のスケーラビリティの限界を克服すること。
• 大規模並列MCTSが、ベイズ最適化や強化学習と組み合わせた複雑なディープラーニングモデルの性能を分子設計分野で同等または上回ることを実証すること。
• 分子設計にとどまらず、計画や最適化タスクにおいても応用可能な汎用的でスケーラブルなMCTSフレームワークの開発

提案手法

• 提案するMP-MCTSは、仮想損失を用いることで、分散ワーカー間で独立したロールアウトを可能にし、同期のオーバーヘッドを最小限に抑える。
• 分散メモリ環境における複数のコンピュータノードに木を効率的に分散配分するため、ハッシュベースの木分割戦略を採用する。
• 各ワーカーは訪問回数の高い部分木のローカルコピーを維持することで、通信頻度を低減し、負荷バランスを改善する。
• 部分木の更新を定期的に同期することで、一貫性を維持し、収束性を向上させる。
• ロールアウト段階では、分子SMILES文字列を効率的に化学空間探索できるように、シンプルなRNNベースの生成モデルを用いる。
• 分子特性の微分可能報酬関数とMCTSを統合することで、高次元の組み合わせ空間における勾配フリー最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 従来の手法とは異なり、100ワーカーを超える規模でも解の品質を維持できる分散MCTSアルゴリズムは実現可能か？
• RQ2 大規模並列MCTSは、ベイズ最適化や強化学習と組み合わせた最先端の深層生成モデルを分子設計分野で上回るか？
• RQ3 仮想損失とハッシュベースの木分割によって、分散メモリシステム上でも探索品質を損なわずに、効率的かつスケーラブルなMCTSが実現可能か？
• RQ4 MP-MCTSは、分子設計における実世界の組み合わせ最適化において、複雑なディープラーニングモデルの代替として実用的か？

主な発見

• MP-MCTSは10分間で非並列MCTSが42時間かけて到達する分子設計スコアに到達し、252倍の高速化を達成した。
• より複雑なディープニューラルネットワークを組み合わせた既存の最先端手法を上回った。
• 256CPUコアを用いたスケーリング時においても、MP-MCTSの解の品質は安定しており、過去の大規模並列MCTS実装で見られた劣化を回避した。
• MP-MCTSにシンプルなRNNを組み合わせた場合、同じベンチマークでより複雑なモデルを上回った。これは、並列探索の効率性がモデルの複雑さを上回ることを示唆している。
• 提案されたMP-MCTSフレームワークは汎用的であり、分子設計にとどまらず、レトロ合成アナリシスなど、MCTSに基づく他の問題にも応用可能である。