[論文レビュー] Improving Small Molecule Generation using Mutual Information Machine

Danny Reidenbach, Micha Livne+3 more|arXiv (Cornell University)|Aug 18, 2022

Computational Drug Discovery Methods被引用数 11

ひとこと要約

MolMIM は、SMILES 文字列から情報的でクラスタリングされた固定サイズの潜在空間を学習するための確率的オートエンコーダーであり、相互情報マシン（MIM）学習を用いる。CMA-ES を用いた単純な潜在空間最適化により、強化学習や複雑なアーキテクチャを用いずに、高品質で妥当性が高く、一意的かつ新規な分子生成を実現し、強化学習を用いない状態で、単一および多目的最適化において最先端の結果を達成する。

ABSTRACT

We address the task of controlled generation of small molecules, which entails finding novel molecules with desired properties under certain constraints (e.g., similarity to a reference molecule). Here we introduce MolMIM, a probabilistic auto-encoder for small molecule drug discovery that learns an informative and clustered latent space. MolMIM is trained with Mutual Information Machine (MIM) learning, and provides a fixed length representation of variable length SMILES strings. Since encoder-decoder models can learn representations with ``holes'' of invalid samples, here we propose a novel extension to the training procedure which promotes a dense latent space, and allows the model to sample valid molecules from random perturbations of latent codes. We provide a thorough comparison of MolMIM to several variable-size and fixed-size encoder-decoder models, demonstrating MolMIM's superior generation as measured in terms of validity, uniqueness, and novelty. We then utilize CMA-ES, a naive black-box and gradient free search algorithm, over MolMIM's latent space for the task of property guided molecule optimization. We achieve state-of-the-art results in several constrained single property optimization tasks as well as in the challenging task of multi-objective optimization, improving over previous success rate SOTA by more than 5\% . We attribute the strong results to MolMIM's latent representation which clusters similar molecules in the latent space, whereas CMA-ES is often used as a baseline optimization method. We also demonstrate MolMIM to be favourable in a compute limited regime, making it an attractive model for such cases.

研究の動機と目的

• 薬物様性や標的感受性などの性質制約下での制御された小分子生成の課題に対処すること。
• 明示的な性質ラベルなしに、類似した分子がクラスタリングされるような密な情報的で化学的に意味のある潜在空間を学習すること。
• 潜在空間における単純で勾配フリーの探索により、効率的かつ効果的な分子最適化を可能にすること。
• 計算リソースが限られた条件下でも、単一および多目的分子最適化タスクにおいて優れたパフォーマンスを達成すること。
• シンプルな最適化戦略（例：CMA-ES）が、良好に構造化された潜在空間と組み合わせられれば、複雑な手法を上回ることを示すこと。

提案手法

• MolMIM は、可変長の SMILES 文字列を固定サイズの潜在表現にマップするために、Perceiver エンコーダーと Transformer デコーダーを用いる。
• モデルは、入力分子とその潜在コード間の相互情報量を最大化するように、相互情報マシン（MIM）学習を用いて訓練される。
• ランダムな潜在空間の摂動から生じる無効なサンプルを低減するため、MIM 学習に新たな拡張が導入される。
• 性質誘導型分子生成のため、潜在空間は CMA-ES と呼ばれる勾配フリーのブラックボックス最適化アルゴリズムによって最適化される。
• 訓練段階では強化学習や明示的な化学的性質ラベルを必要とせず、代わりに教師なし事前学習に依存する。
• 潜在コードの摂動を用いて新しい分子を生成し、妥当性はモデルが学習した密度とクラスタリング性によって保証される。

実験結果

リサーチクエスチョン

• RQ1 自己教師ありの MIM で訓練されたオートエンコーダーは、明示的な性質ラベルなしに、密で情報的で化学的に意味のある潜在空間を学習できるか？ また、類似した分子が自然にクラスタリングされるか？
• RQ2 良好に構造化された潜在空間に対して、CMA-ES のようなシンプルで勾配フリーの最適化手法が、より複雑な戦略を上回る性能を示せるか？
• RQ3 既存の固定サイズおよび可変サイズのモデルと比較して、MolMIM は生成された分子の妥当性、一意性、新規性をどの程度向上できるか？
• RQ4 QED、SA スコア、標的阻害のバランスといった、矛盾する制約を持つ多目的最適化タスクにおいて、MolMIM はどの程度有効か？
• RQ5 計算リソースが限られた環境下でも MolMIM は高いパフォーマンスを維持できるか？ これにより、実世界の薬物発見パイプラインへの実用性が確保できるか？

主な発見

• 例示ベース初期化を用いた多目的最適化において、MolMIM は 99.2% の成功率を達成し、新規性と多様性において JANUS や FaST を上回った。
• 単一性質最適化において、MolMIM は logP、QED、SA スコアの各タスクで最先端の結果を達成し、最良のバージョンで 97.5% の妥当性と 71.1% の新規性を示した。
• 49 回リスタートを実行したバージョン（MolMIM E†）では、多目的最適化において 49% の成功率を達成し、高い新規性と多様性を維持した。
• MolMIM の潜在空間は、ランダムな摂動からの高品質な生成を可能にし、E バージョンでは 98.3% の妥当性と 55.1% の新規性を示した。これは、密で頑健な表現を示している。
• 強化学習を用いずに競争的な結果を達成した。これは、潜在空間の質が、複雑な最適化アルゴリズムよりもはるかに重要であることを示している。
• MolMIM が学習した潜在空間は、類似した分子を暗黙的にクラスタリングしており、CMA-ES のようなシンプルな探索手法でも効率的な最適化が可能である。