[論文レビュー] Grammars and reinforcement learning for molecule optimization

Egor Kraev|arXiv (Cornell University)|Nov 27, 2018

Machine Learning in Materials Science参考文献 8被引用数 5

ひとこと要約

本稿では、SMILES用のカスタム文脈自由文法（CFG）と、Transformerベースの強化学習を組み合わせた新規手法を提案する。この手法により、結合価数則やサイクル制約をルールマスキングで強制することで、化学的に妥当な分子を効率的かつ高品質に生成可能であり、原子1個あたりのモデルステップ数を著しく削減した。その結果、分子性質最適化分野で最先端の性能を達成した。

ABSTRACT

We seek to automate the design of molecules based on specific chemical properties. Our primary contributions are a simpler method for generating SMILES strings guaranteed to be chemically valid, using a combination of a new context-free grammar for SMILES and additional masking logic; and casting the molecular property optimization as a reinforcement learning problem, specifically best-of-batch policy gradient applied to a Transformer model architecture. This approach uses substantially fewer model steps per atom than earlier approaches, thus enabling generation of larger molecules, and beats previous state-of-the art baselines by a significant margin. Applying reinforcement learning to a combination of a custom context-free grammar with additional masking to enforce non-local constraints is applicable to any optimization of a graph structure under a mixture of local and nonlocal constraints.

研究の動機と目的

• 深層学習を用いて望ましい化学的性質を持つ分子の自動設計を実現すること。
• 複雑なアーキテクチャや大規模な事前定義語彙に依存せずに、化学的に妥当なSMILES文字列のみを生成する課題に対処すること。
• 原子1個あたりのモデルステップ数を削減することで、分子生成のサンプル効率を向上させること。
• 局所的（結合価数）および非局所的（サイクル閉じ込み、長さ）制約の下で、複雑な分子性質の最適化を可能にすること。
• より単純な文法ガイドド強化学習アプローチが、分子最適化分野で最先端の結果を上回ることを実証すること。

提案手法

• 結合価数の正しさと複雑なサイクル構造のサポートを構造的に保証するため、SMILES用の新しい文脈自由文法（CFG）を設計した。
• 非局所的制約を強制するために、追加のマスキング論理を導入した：端点距離マスキングにより、モデルのステップ制限内での終了を保証し、サイクルID伝搬によりサイクルの閉じ込みと長さ制約を満たした。
• 生成プロセスでは、全文脈アテンションを活用して各ステップで情報に基づいた意思決定が可能な、Transformerベースの方策ネットワークを採用した。
• 分子性質最適化は、バッチ内最良方策勾配を用いた強化学習問題として定式化され、性質スコア、SAスコア、望ましくない特徴に対するペナルティを組み合わせた報酬関数が使用された。
• 訓練および検証用に、実際の分子を生成規則シーケンスに分解するために、標準的なCFGパーサー（例：NLTK）が使用された。
• 有効性の強制と性質最適化の分離により、大規模な分子の効率的かつスケーラブルな生成が可能になった。

実験結果

リサーチクエスチョン

• RQ1 複雑な構造的特徴（分岐や芳香族サイクルなど）をサポートしつつ、結合価数を保証するカスタム文脈自由文法（CFG）をSMILES用に設計可能か？
• RQ2 局所的アテンション機構のみを用いて、サイクル閉じ込みや長さ制限といった非局所的制約を、シーケンス生成中に効果的に強制できるか？
• RQ3 バッチ内最良方策勾配を用いたTransformerベース方策が、原子1個あたりのモデルステップ数を減らしながらも、先行のRNNまたはグラフベースのモデルを上回る性能を発揮できるか？
• RQ4 ルールマスキングを用いた文法ベース生成により、大規模な事前定義語彙や複雑なメッセージパッシングアーキテクチャの必要性をどれほど低減できるか？
• RQ5 報酬形状戦略（例：アンカリング、SAペナルティ、芳香族サイクルペナルティ）の違いが、生成分子の多様性およびドラッグライクネスに与える影響はどの程度か？

主な発見

• 提案手法はZINCベンチマークで8.46の分子スコアを達成し、Jinら（2018）が報告した以前の最先端スコア7.16を著しく上回った。
• 強力なアンカリングとSAペナルティを適用した結果、6員環芳香族環、SおよびNを含む5員環ヘテロサイクル、および1つの塩素原子を有する構造的多様性を持つトップ分子が得られ、実際のドラッグライク分子に類似した特徴を示した。
• 先行手法と比較して、原子1個あたりのモデルステップ数を著しく削減したため、大規模な分子の効率的生成が可能になった。
• 明示的なサイクルペナルティがなくても、強力なアンカリングを適用した場合、芳香族サイクル数が少なく、原子多様性がよりバランスの取れた分子が生成された。
• より単純なアーキテクチャと文法ベース設計であるにもかかわらず、Kusner ら（2017）のベースラインおよびJin ら（2018）の複雑なグラフベースモデルを上回った。
• サイクルIDを用いたルールマスキングにより、最小/最大サイクル長などの複雑な制約を、文法的妥当性とパース可能성을損なわず強制可能となった。