[論文レビュー] Curiosity in exploring chemical space: Intrinsic rewards for deep molecular reinforcement learning

Luca Thiede, Mario Krenn+2 more|arXiv (Cornell University)|Dec 17, 2020

Computational Drug Discovery Methods参考文献 33被引用数 11

ひとこと要約

本論文は、膨大な化学空間の探索を促進するための好奇心駆動型強化学習を、de novo 分子設計に導入する。内部報酬を用いることで、事前データに偏りのない、広大な化学空間における探索を強化する。予測的世界モデルをポリシー勾配に組み込むことで、3つのベンチマークで非好奇心型エージェントを上回る性能を発揮し、より高い logP、より良い QED スコア、新規の硫黄含有分子を発見した。これは、外部報酬信号に依存せず、分布外の高性能化合物の発見が可能であることを示している。

ABSTRACT

Computer-aided design of molecules has the potential to disrupt the field of drug and material discovery. Machine learning, and deep learning, in particular, have been topics where the field has been developing at a rapid pace. Reinforcement learning is a particularly promising approach since it allows for molecular design without prior knowledge. However, the search space is vast and efficient exploration is desirable when using reinforcement learning agents. In this study, we propose an algorithm to aid efficient exploration. The algorithm is inspired by a concept known in the literature as curiosity. We show on three benchmarks that a curious agent finds better performing molecules. This indicates an exciting new research direction for reinforcement learning agents that can explore the chemical space out of their own motivation. This has the potential to eventually lead to unexpected new molecules that no human has thought about so far.

研究の動機と目的

• 巨大で構造のない化学空間における効率的な探索の課題に対処すること。
• 既知の化学的分布に偏るデータ依存型生成モデルの限界を克服すること。
• 強化学習における好奇心にインspiredされた内発的動機付けが、外部報酬信号に依存せずに分子設計を改善できるかを検証すること。
• 最適化された特性を持つ分子を生成するための、好奇心ベースの深層強化学習フレームワークの開発と評価。
• 好奇心が局所最適から脱出でき、新規で高性能な分子構造を発見できるかを実証すること。

提案手法

• SELFIES 文字列トークンを用いて段階的に分子を生成する、深層強化学習エージェント（PPO）を用いる。
• 現在の状態と行動から次の状態を予測する予測的世界モデルを採用し、予測誤差を内部報酬として使用。
• 内部報酬信号 $ r_{\text{intrinsic}} = \| \hat{\mathbf{z}}_{t+1} - \mathbf{z}_{t+1} \| $ を導入。ここで $ \mathbf{z} $ は分子状態の潜在表現である。
• 外部報酬（例：logP、QED、類似度）と内部報酬を組み合わせ、探索と最適化をガイド。
• 予測子ネットワークの学習を、各ステップ後に実施するか、リプレイバッファを用いるかを比較するアブレーションスタディを実施。
• すべての生成段階で構文的・化学的に有効な分子が得られるよう、自己整合性の高いSELFIES表現を採用。

実験結果

リサーチクエスチョン

• RQ1 大規模なトレーニングデータが不要な状況でも、内部的好奇心が分子強化学習における探索を改善できるか？
• RQ2 標準的な分子設計ベンチマークにおいて、好奇心駆動型エージェントは非好奇心型エージェントに比べ、より高性能な分子を発見できるか？
• RQ3 内部報酬信号は、硫黄含有鎖のような新規で分布外の分子の発見にどのように影響するか？
• RQ4 ハイパーパramータ設定（例：好奇心重み α）を最適化することで、さまざまな分子特性最適化タスクのパフォーマンスを最大化できるか？
• RQ5 好奇心ベースの探索は、カウントベースの手法やパrameterノイズなどの他の探索戦略と効果的に組み合わせられるか？

主な発見

• 内部報酬重み α = 1 の好奇心型エージェントが、ペナルティ付き logP タスクで平均 logP 10.364 を達成し、非好奇心型ベースライン（9.580）を顕著に上回った。
• 硫黄含有鎖分子は、好奇心を有する2つのエージェントのみが発見した。これは、好奇心が局所最適から脱出でき、まれな高性能領域を探索可能であることを示している。
• QED タスクでは、α = 1 を使用した最良のエージェントが QED スコア 0.893 を達成したのに対し、非好奇心型エージェントは 0.872 であった。
• 代替的な内部報酬定式化は、類似度タスクで性能を向上（0.239 対 0.186）させたが、logP や QED タスクでは改善が見られなかった。
• 予測子ネットワークを各ステップ後に再学習したエージェントが、リプレイバッファを用いたエージェントを上回った。これは、より最新の世界モデル予測が得られていたためと推測される。
• 結果から、好奇心ベースの探索が、データが乏しいか高次元の化学空間において、より多様で質の高い分子発見を実現できることを示している。