[論文レビュー] Decoding Molecular Graph Embeddings with Reinforcement Learning

Steven Kearnes, Li Li+1 more|arXiv (Cornell University)|Apr 18, 2019

Machine Learning in Materials Science参考文献 23被引用数 30

ひとこと要約

本論文では、潜在表現から化学的に妥当な分子グラフを復元するための強化学習を用いたグラフ・ツー・グラフ変分オートエンコーダー、RL-VAEを提案する。マルコフ決定過程（MDP）に基づくデコーダーを用い、潜在コードに条件付けられた価値関数を導入することで、QM9テストセットで67%の再構成精度を達成した。これは、強化学習に基づくデコーディングが、化学的に妥当な分子生成と連続的で最適化可能な潜在空間の両方を可能にすることを示している。

ABSTRACT

We present RL-VAE, a graph-to-graph variational autoencoder that uses reinforcement learning to decode molecular graphs from latent embeddings. Methods have been described previously for graph-to-graph autoencoding, but these approaches require sophisticated decoders that increase the complexity of training and evaluation (such as requiring parallel encoders and decoders or non-trivial graph matching). Here, we repurpose a simple graph generator to enable efficient decoding and generation of molecular graphs.

研究の動機と目的

• 変分オートエンコーダーにおける連続的潜在表現から化学的に妥当な分子グラフを生成する課題に対処すること。
• オートエンコーダーに基づく潜在空間最適化と、妥当な分子を生成する生成モデルの間のギャップを埋めること。
• 分子設計における連続的で微分可能な最適化を可能にしつつ、デコーディング中に構造的妥当性を保証すること。
• 強化学習がグラフ構造の分子データに対して効果的でスケーラブルなデコーダーとして機能するかどうかを検討すること。

提案手法

• モデルは、分子グラフを平均μと対数分散Σでパrameter化された潜在分布にマップするためのメッセージパッシングニューラルネットワーク（MPNN）エンコーダーを用いる。
• 潜在ベクトルは学習された分布からサンプリングされ、2重Q学習を用いて価値関数を近似するように訓練された強化学習エージェントによってデコードされる。
• デコーダーは、段階的に分子を構築するマルコフ決定過程（MDP）として動作し、無効な操作（例：結合の削除や環内における三重結合の形成）を制限することで化学的妥当性を保証する。
• 価値関数は現在のグラフ状態とターゲット分子の潜在埋め込みに条件付けられており、ポリシー学習による再構成を可能にする。
• 経験リプレイ用のリプレイバッファは20ステップのエピソードからの経験遷移を格納し、経験リプレイにはバッチサイズ128、エピソードのロールアウトにはバッチサイズ8を用いる。
• MDPは、結合の削除や誤った環形成などの無効なアクションを禁止することで、生成されたすべての分子が化学的に妥当であることを保証する。

実験結果

リサーチクエスチョン

• RQ1 強化学習ベースのデコーダーは、分子グラフ生成において高い再構成精度を達成すると同時に、化学的妥当性を維持できるか？
• RQ2 VAEが学習する潜在空間は、分子構造の間を滑らかに連続的に補間できるか？
• RQ3 時間差分学習によるQ関数予測は、グラフ生成における従来のオートエンコーディング目的関数と比較してどのように異なるか？
• RQ4 ターゲット分子の潜在コードにRLデコーダーを条件付けた場合、再構成性能がどの程度向上するか？

主な発見

• RL-VAEはQM9テストセットで67%の再構成精度を達成し、ランダムウォーク（0.00%）やグリーディデコーディング（0.03%）といったベースラインモデルを顕著に上回った。
• 再構成が正確でない場合、入力と出力の分子間のタニモト類似度は急激に低下した。これは、分子類似度の指標としてSMILES同等性よりもMDP編集距離がより情報的であることを示唆している。
• MDPベースのデコーダーは、結合の削除や環内における三重結合形成といった無効なアクションを禁止することで、化学的に妥当な分子を保証する。
• 潜在空間の探索から、潜在空間におけるコサイン距離が大きくなるにつれて分子類似度が低下することが判明し、埋め込み空間に局所的に滑らかな構造があることが示唆された。
• 割引率γ=0.99のモデルはγ=0よりも顕著に優れた性能を示し、RLデコーダーにおける長期的報酬設計の重要性を確認した。
• GVAE（51%）を上回り、JT-VAE（74%）に近く、より単純で効率的なデコーディング機構を備えた競争力ある再構成性能を示した。