[論文レビュー] A novel molecule generative model of VAE combined with Transformer for unseen structure generation

Yasuhiro Yoshikai, Tadahaya Mizuno+2 more|arXiv (Cornell University)|Feb 19, 2024

Process Optimization and Integration被引用数 4

ひとこと要約

本論文は、変分オートエンコーダー（VAE）とトランスフォーマー・アーキテクチャを組み合わせた新しい生成モデルを提案する。構造的およびパrameter適合性を最適化することで、再構築損失を伴わないコン pact な約32次元の潜在空間から、多様で未観測の分子構造を生成し、優れた性能を達成する。

ABSTRACT

Recently, molecule generation using deep learning has been actively investigated in drug discovery. In this field, Transformer and VAE are widely used as powerful models, but they are rarely used in combination due to structural and performance mismatch of them. This study proposes a model that combines these two models through structural and parameter optimization in handling diverse molecules. The proposed model shows comparable performance to existing models in generating molecules, and showed by far superior performance in generating molecules with unseen structures. Another advantage of this VAE model is that it generates molecules from latent representation, and therefore properties of molecules can be easily predicted or conditioned with it, and indeed, we show that the latent representation of the model successfully predicts molecular properties. Ablation study suggested the advantage of VAE over other generative models like language model in generating novel molecules. It also indicated that the latent representation can be shortened to ~32 dimensional variables without loss of reconstruction, suggesting the possibility of a much smaller molecular descriptor or model than existing ones. This study is expected to provide a virtual chemical library containing a wide variety of compounds for virtual screening and to enable efficient screening.

研究の動機と目的

• 構造的および性能的不一致のため、分子生成におけるVAEとトランスフォーマー・アーキテクチャの統合に課題が生じるため、これを解決すること。
• 多様で未観測の分子構造を生成できる統合的生成モデルの開発。
• 低次元の潜在表現を用いた効率的な分子性質予測の実現。
• 自己回帰的言語モデルと比較して、VAEベースのモデルが新規化合物の生成に果たす可能性の探求。

提案手法

• VAEとトランスフォーマー・デコーダーを統合し、分子生成におけるアーキテクチャおよびパrameter適合性を最適化する。
• 約32次元の潜在空間を学習し、再構築損失を伴わず、コン pact な分子表現を実現する。
• VAEが分子のSMILESを潜在ベクトルに符号化し、トランスフォーマーがそのベクトルを用いて新しい分子構造にデコードする。
• 多様な分子データセット上でエンドツーエンドに学習し、再構築精度と新規性を最大化する。
• アブレーションスタディにより、単独のモデルと比較して性能および一般化能力を評価する。
• 性質予測は潜在表現そのものに対して直接実施し、条件付き生成への応用における有用性を示す。

実験結果

リサーチクエスチョン

• RQ1 VAE-Transformerハイブリッドモデルは、既存のモデルと比較して、より効果的に新規分子構造を生成できるか？
• RQ2 自己回帰的言語モデルと比較して、VAE-Transformerモデルの未観測分子の生成性能はどのように異なるか？
• RQ3 低次元の潜在空間（約32次元）は、分子の再構築忠実度を保持し、正確な性質予測を可能にするか？
• RQ4 VAEコンポonentが条件付き生成および性質予測を可能にするにあたり、果たす貢献は何か？
• RQ5 構造的およびパrameter最適化が、VAEとトランスフォーマーの分子生成における連携をどの程度向上させるか？

主な発見

• 提案されたVAE-Transformerモデルは、標準的な分子生成ベンチマークで既存モデルと同等の性能を達成する。
• 未観測の構造モチーフを有する分子の生成において優れた性能を示し、強力な一般化能力を示す。
• 潜在表現により正確な分子性質予測が可能となり、条件付き生成応用における有効性が裏付けられる。
• 再構築損失を著しく減らさずに、潜在空間を約32次元に圧縮可能であり、極めて効率的な分子記述子であることが示唆される。
• アブレーションスタディにより、VAEベースの生成が、新規性および構造的多様性において自己回帰的言語モデルを上回ることが確認された。
• モデルの潜在空間は非常に構造的で予測可能であり、潜在ベクトルからの直接的な性質予測などの後続タスクに適している。