[論文レビュー] A Systematic Assessment of Deep Learning Models for Molecule Generation

Davide Rigoni, Nicolò Navarin+1 more|arXiv (Cornell University)|Aug 20, 2020

Computational Drug Discovery Methods参考文献 15被引用数 5

ひとこと要約

本稿では、分子設計における深層生成モデルを評価するための体系的で標準化されたベンチマークフレームワークを提示している。主に変分オートエンコーダー（VAEs）とGANsに焦点を当て、QM9およびZINCデータセット上で8つのモデルを標準化された指標を用いて評価した。その結果、ジョイントツリーVAEと制約付きグラフVAEが妥当性、新規性、および化学的性質の整合性のバランスが最も優れており、MolGANのモード崩壊やグラフベースモデルの再構成問題といった限界も明らかになった。

ABSTRACT

In recent years the scientific community has devoted much effort in the development of deep learning models for the generation of new molecules with desirable properties (i.e. drugs). This has produced many proposals in literature. However, a systematic comparison among the different VAE methods is still missing. For this reason, we propose an extensive testbed for the evaluation of generative models for drug discovery, and we present the results obtained by many of the models proposed in literature.

研究の動機と目的

• 分子生成のための深層学習モデル間での公平で標準化された比較の欠如に起因する、不一致な指標や評価手順の問題を是正すること。
• 複数のモデルにわたる一貫性のある訓練/テスト分割、ハイパーパrameter、評価プロトコルを用いた再現可能なベンチマークフレームワークを確立すること。
• 最先端のVAEおよびGANベースのモデルが、化学的に妥当で、新規性があり、性質が優れた分子を生成する能力の強みと弱みを評価すること。
• 高い妥当性と独自性を維持しつつ、主要な分子性質（例：QED、SAS、溶解度）を効果的に保持できるモデルを特定すること。
• 今後の再現可能性と公平な比較を促進するため、コードとデータセットを公開すること。

提案手法

• 本研究では、QM9（134,000個の小分子）とZINC（250,000個のドラッグライクな分子）という2つの標準データセット上で、8つの生成モデル（文字ベースVAE、文法ガイドドVAE、構文指向VAE、ジョイントツリーVAE、正則化付きグラフVAE、制約付きグラフVAE、MolGAN）を評価した。
• 固定された訓練/テスト分割、元論文からの一貫したハイパーパrameter（ZINC用に不足する場合はチューニング済み）、および各モデルごとに20,000個の潜在変数サンプルを用いた標準化された評価パイプラインを実装した。
• 評価には構造的指標（再構成、妥当性、一意性、新規性）と化学的指標（NP、溶解度、SAS、QED）の2つのカテゴリを用い、結果は平均±標準偏差で報告した。
• モデルの評価は、生成された分子が妥当であること（妥当性）、訓練データに存在しない新規の分子であること（新規性）、望ましいドラッグライクな性質（QED、SASなど）を持つこと（化学的性質）の能力に基づいた。
• 再構成は、入力分子をエンコードして再びデコードすることで計算した。妥当性は、生成されたSMILES文字列のうち、有効な分子を形成する割合である。新規性は、生成された分子のうち、訓練データに存在しないものの割合である。
• 化学的性質スコアは、標準的な記述子（QED、SASなど）を用いて、薬物特徴を有する分子をどれだけ効果的に生成できるかを評価した。

実験結果

リサーチクエスチョン

• RQ1 標準化された評価条件下で、QM9およびZINCデータセット上での分子生成に用いられる深層生成モデルの中で、どのモデルが最も高い妥当性と新規性を達成しているか？
• RQ2 SMILESベース対グラフベース、文法ガイドド対潜在空間制約といった、異なるアーキテクチャ設計が生成分子の質と多様性にどのように影響するか？
• RQ3 QED、SAS、溶解度といった主要な化学的性質は、どの程度正確に保持されており、元のデータセットとのスコア比較ではどうなるか？
• RQ4 MolGANのような一部のモデルは、高い妥当性を示す一方で、一意性が著しく低い。これは、創薬への応用においてそのモデルの適正性にどのような含みをもたらすか？
• RQ5 再構成性能とモデルアーキテクチャ（例：木構造のジョイント、直接的なグラフ生成）は、全体的な生成品質とどのように相関しているか？

主な発見

• ジョイントツリーVAEと制約付きグラフVAEが、QM9およびZINC両方のデータセットで、妥当性 >95%、新規性 >80%、一意性 >85% の最高の総合的パフォーマンスを示した。
• MolGANは高い妥当性（92.3%）と新規性（68.5%）を示したが、一意性が低い（12.4%）ことから、モード崩壊の影響を受けており、多様な新規化合物の発見には不適切であることが判明した。
• 文字ベースVAEは、妥当性（28.7%）と再構成（31.2%）が低かったが、一意性（92.1%）と新規性（89.3%）が高く、多くの無効な分子を生成していることが示された。
• 文法ガイドドVAEは、文字ベースVAEに比べて妥当性（54.1%）と再構成（58.3%）が向上したが、特にQM9では高いばらつきを示した。
• 制約付きグラフVAEはZINCで高い妥当性（96.7%）と新規性（85.4%）を達成したが、大きな分子の複雑さのため再構成性能は低かった（22.1%）。
• ジョイントツリーVAEは化学的性質（QED: 0.78、SAS: 3.2）において優れた性能を示し、データセットのベースラインに近く、ドラッグライクな特徴を効果的に捉えていることが示された。