[論文レビュー] Graph Deconvolutional Generation

Daniel Flam-Shepherd, Tony Wu+1 more|arXiv (Cornell University)|Feb 14, 2020

Advanced Graph Neural Networks参考文献 26被引用数 13

ひとこと要約

本稿では、分子グラフ生成の性能を向上させるために、メッセージパッシングニューラルネットワーク（MPNN）を変分オートエンコーダ（VAE）のエンコーダおよびデコーダの両方に統合したMessage-Passing Graph Variational Autoencoders（MPGVAE）を提案する。GVAEのマルチレイヤーパーセプトロン（MLP）デコーダをグラフニューラルネットワーク（GNN）に置き換えることで、エッジの相関関係や構造的依存関係を捉えることができ、有効性、一意性、分布マッチングの面で優れた性能を達成した。MPGVAEは、高価なグラフマッチングを必要とせず、GVAEに比べて300%も新しい有効で一意な分子を生成した。

ABSTRACT

Graph generation is an extremely important task, as graphs are found throughout different areas of science and engineering. In this work, we focus on the modern equivalent of the Erdos-Renyi random graph model: the graph variational autoencoder (GVAE). This model assumes edges and nodes are independent in order to generate entire graphs at a time using a multi-layer perceptron decoder. As a result of these assumptions, GVAE has difficulty matching the training distribution and relies on an expensive graph matching procedure. We improve this class of models by building a message passing neural network into GVAE's encoder and decoder. We demonstrate our model on the specific task of generating small organic molecules

研究の動機と目的

• GVAEがエッジとノードの独立性を仮定していることにより、学習分布とのマッチングが不十分で、有効な分子グラフを生成できないという限界を解消すること。
• 両エンコーダおよびデコーダにメッセージパッシングニューラルネットワーク（MPNN）を統合することで、グラフ構造データに対するGVAEのインダクティブバイアスを改善すること。
• 分子グラフ生成における高価なグラフマッチング手順に依存しないようにすることで、より良い構造モデリングを可能にすること。
• GVAE、MolGAN、GrammarVAEといった既存手法と比較して、有効で一意的かつ新規の分子グラフを生成する性能を優れていること。
• 連続的（QED、logP、SA）および離散的（原子数および環数）な分子統計における分布マッチングの向上を示すこと。

提案手法

• 変分オートエンコーダ（VAE）のエンコーダおよびデコーダの両方にメッセージパッシングニューラルネットワーク（MPNN）を統合する。
• Tステップの伝播後、ノード埋め込みからグラフレベルの読み出し関数を用いて潜在表現を生成する。
• セット2ベクトル（set2vec）およびベクトル2セット（vec2set）アーキテクチャを用いて、ノード特徴量からグラフレベルの表現を集約および再構築する。
• 潜在空間にガウス事前分布を適用し、認識ネットワークを用いて事後分布を推論する変分推論フレームワークを採用する。
• 学習されたMPNNを用いてエッジおよびノード特徴量を生成するデコーダを採用し、エッジの相関関係をモデル化可能にする。
• ラベルベクトル（例：原子ヒストグラム）をノード特徴量に連結することで、制御された生成を実現する条件付き生成設定を採用する。

実験結果

リサーチクエスチョン

• RQ1 GVAEのエンコーダおよびデコーダの両方にメッセージパッシングニューラルネットワークを統合することで、グラフマッチングに依存せずに分子グラフ生成を改善できるか？
• RQ2 連続的および離散的統計の観点から、MPGVAEはGVAEや他のベースラインと比較して、分子グラフの学習分布をよりよく捉えられるか？
• RQ3 MPGVAEは、GVAE、MolGAN、GrammarVAEと比較して、生成分子の有効性、一意性、新規性をどの程度向上できるか？
• RQ4 生成された分子が指定された原子ヒストグラムと一致する条件付き生成タスクにおいて、MPGVAEはより高い正確性を達成できるか？
• RQ5 デコーダにMPNNを用いることで、元のGVAEのMLPデコーダに比べ、構造的依存関係およびエッジ相関関係をよりよくモデル化できるか？

主な発見

• MPGVAEは10,000件の事前サンプルから3,341個の有効で一意的かつ新規の分子を生成し、GVAEの1,185個に比べて300%の増加を達成した。
• MPGVAEは91%の有効性、68%の一意性、54%の新規性を達成し、GVAE（81%、24%、61%）およびMolGAN（98%、10%、94%）を上回るバランスの取れた性能を示した。
• MPGVAEのQED、logP、SAスコアの生成分布はQM9の学習データに近く、GVAEおよびMolGANを上回る分布マッチング性能を示した。
• 条件付き生成では、MPGVAEは89%の有効性および67%の正確性を達成し、GVAEの57%の有効性および47%の正確性を顕著に上回った。
• MPGVAEは環数や原子数といった離散統計を的確に捉えており、スタックされたヒストограмがベースラインと比較してQM9の学習分布に近づいていた。
• 視覚的検査の結果、MolGANやGrammarVAEとは異なり、MPGVAEは孤立したスケルトンを有さないより化学的に妥当な分子を生成したことが確認された。