[論文レビュー] A Graph VAE and Graph Transformer Approach to Generating Molecular Graphs

Joshua Mitton, Hans Martin Senn+2 more|arXiv (Cornell University)|Apr 9, 2021

Machine Learning in Materials Science被引用数 11

ひとこと要約

本稿では、グラフ畳み込みネットワーク、微分可能グラフプーリング、およびエッジ予測のための新しいノード符号化を備えたトランスフォーマーを活用することで、ノードおよびエッジ特徴を併せ持つ分子グラフを生成する、新しいグラフVAEとトランスフォーマーのハイブリッドモデルを提案する。このモデルは、QM9データセット上で有効性、一意性、新規性に優れた分子の生成において最先端の性能を達成するとともに、制御的な分子性質の生成に適した分離可能で解釈可能な潜在空間を学習する。

ABSTRACT

We propose a combination of a variational autoencoder and a transformer based model which fully utilises graph convolutional and graph pooling layers to operate directly on graphs. The transformer model implements a novel node encoding layer, replacing the position encoding typically used in transformers, to create a transformer with no position information that operates on graphs, encoding adjacent node properties into the edge generation process. The proposed model builds on graph generative work operating on graphs with edge features, creating a model that offers improved scalability with the number of nodes in a graph. In addition, our model is capable of learning a disentangled, interpretable latent space that represents graph properties through a mapping between latent variables and graph properties. In experiments we chose a benchmark task of molecular generation, given the importance of both generated node and edge features. Using the QM9 dataset we demonstrate that our model performs strongly across the task of generating valid, unique and novel molecules. Finally, we demonstrate that the model is interpretable by generating molecules controlled by molecular properties, and we then analyse and visualise the learned latent representation.

研究の動機と目的

• ノードおよびエッジ特徴を併せ持つ、化学的に有効で、一意的で、新規な分子グラフを生成するという課題に対処すること。
• 従来のMLPベースの手法と比較して、メモリ複雑性をO(k²)からO(k)に低減することで、グラフ生成モデルのスケーラビリティを向上させること。
• 特定の分子性質にマッピングされる、分離可能で解釈可能な潜在空間を学習し、所望の性質を持つ分子の制御的生成を可能にすること。
• トランスフォーマーにおける位置符号化を、隣接ノード情報を取り入れた新しいノード符号化に置き換えることで、グラフに依存しないエッジ予測を実現すること。
• 高価なグラフマッチングアルゴリズムに依存せずに、分子生成分野における最先端の性能を示すこと。

提案手法

• モデルは、DIFFPOOLを用いたGraphSAGEベースのエンコーダーを用い、入力の分子グラフからc次元の潜在表現zを生成する。
• グラフデコーダーは、逆DIFFPOOLとGraphSAGEの手順を用いてノード特徴を再構築し、潜在空間で標準正規分布からサンプリングする。
• 従来のMLPとは異なり、新しいノード符号化を用いたトランスフォーマーに基づくエッジ予測器を導入し、隣接ノードの情報をエッジ生成に組み込む。
• 標準的な位置符号化に代えてノード符号化を採用することで、順序バイアスのない動作が可能になり、隣接ノード特徴を介して構造的関係を符号化する。
• 特定の潜在次元を個々の分子性質にマッピングすることで、分離可能な潜在空間を強制し、制御的生成を可能にする。
• ドイポールモーメントやZPVEなどのグラフレベルの性質は、潜在空間から予測され、潜在変数と化学的性質の構造的整合性が保証される。

実験結果

リサーチクエスチョン

• RQ1 グラフVAEとトランスフォーマーのハイブリッドモデルは、ノードおよびエッジ特徴を併せ持つ分子グラフを生成しつつ、高い有効性、一意性、新規性を維持できるか？
• RQ2 提案されたトランスフォーマーにおけるノード符号化は、MLPベースの手法と比較して、エッジ予測性能およびスケーラビリティをどのように向上させるか？
• RQ3 このモデルは、特定の性質を持つ分子の制御的生成を可能にする、分離可能で解釈可能な潜在空間をどの程度学習するか？
• RQ4 高価なグラフマッチングアルゴリズムに依存せずに、分子生成分野で最先端の性能を達成できるか？
• RQ5 メモリ複雑性はグラフサイズにどのようにスケーリングされるか？さらに大きな分子向けに最適化可能か？

主な発見

• 本モデルはQM9データセット上で74.6％の有効性、22.5％の一意性、93.9％の新規性、およびすべての指標を満たす割合として15.8％を達成し、組み合わせ指標において先行モデルを上回った。
• MLPベースのグラフ生成手法と比較して、本モデルはメモリ複雑性をO(k²)からO(k)に低減し、より大きなグラフに対するスケーラビリティを著しく向上させた。
• 分離可能な潜在空間のおかげで、所望の性質を持つ分子の制御的生成が可能であり、一様に間隔をあけた潜在ベクトルの間でドイポールモーメントが滑らかに変化することを実証した。
• 可視化結果から、特定の潜在次元がドイポールモーメント（μ）やゼロ点振動エネルギー（ZPVE）といった明確な分子性質に対応しており、解釈可能性が裏付けられた。
• MolGANやGraphVAEと比較して、複数の指標で本モデルが優れた性能を示した。一部の指標でわずかに劣る場合であっても、全体的な性能は顕著に優れていた。
• トランスフォーマーにおける新しいノード符号化の導入により、位置バイアスなしに効果的なエッジ予測が可能になり、グラフ構造データに対する一般化性能が向上した。