[論文レビュー] GraphVAE: Towards Generation of Small Graphs Using Variational\n Autoencoders

Martin Simonovsky, Nikos Komodakis|arXiv (Cornell University)|Feb 9, 2018

Machine Learning in Materials Science参考文献 34被引用数 132

ひとこと要約

GraphVAE は、最大サイズの固定の確率的に接続されたグラフへデコードする変分オートエンコーダを導入し、厳格な逐次デコードなしに小さなグラフ（例: 分子）の生成を可能にする。

ABSTRACT

Deep learning on graphs has become a popular research topic with many\napplications. However, past work has concentrated on learning graph embedding\ntasks, which is in contrast with advances in generative models for images and\ntext. Is it possible to transfer this progress to the domain of graphs? We\npropose to sidestep hurdles associated with linearization of such discrete\nstructures by having a decoder output a probabilistic fully-connected graph of\na predefined maximum size directly at once. Our method is formulated as a\nvariational autoencoder. We evaluate on the challenging task of molecule\ngeneration.\n

研究の動機と目的

• 連続コードから直接グラフを生成する動機づけ、シーケンス/線形化を介さない。
• 事前に定義された最大サイズでグラフを出力する確率的な全結合グラフデコーダを提案する。
• グラフマッチングベースの再構成損失を用いて、変分オートエンコーダとしてモデルを訓練する。
• 属性制約を用いた条件付き生成を評価し、分子生成への適用可能性を示す。

提案手法

• G に対するエンコーダ q_phi(z|G) と G|z に対するデコーダ p_theta(G|z) を用いた VAE フレームワークを使用する。
• デコーダは、ノード数 k の確率的グラフ (A, E, F) を出力し、ノード/エッジの存在確率と属性変数を独立に扱う。
• 再構成損失は、G と cG を整列させる近似グラフマッチングを介して計算され、ノード間の確率的割り当て X を含む。
• グラフマッチングは Max-Pooling Matching (MPM) を用い、その後 Hungarian 離散化で X を得る。
• 再構成項には p(A'|z), p(F|z), p(E|z) を含み、クロスエントロピーに基づく尤度と重み付き和を用いる。
• エンコーダはエッジ条件付きグラフ畳み込み (ECC) と変分サンプリング（リパラメタライゼーション）を使用する。
• オプションとして、ラベル y をエンコーダとデコーダの両方に条件付けして、分離された z|y 表現を得る。

実験結果

リサーチクエスチョン

• RQ1 直接最大サイズの固定グラフを確率的に出力するデコーダは、明示的な逐次構築をせずに小さなグラフを効果的に生成できるか？
• RQ2 小分子生成における有効性、妥当性、多様性は、従来の文法/文字ベースのベースラインと比べてどうか？
• RQ3 補助ラベルでの条件付けは、生成グラフの質と制御性にどのような影響を与えるか？
• RQ4 グラフマッチングベースの再構成損失と全体の訓練は、小さなグラフ領域でより大きなグラフへスケール可能か？
• RQ5 暗黙のノード確率の支援は生成品質を改善するか、、多様性とのトレードオフとなるか？

主な発見

Model	log p_theta(G|z)	ELBO	Valid	Accurate	Unique	Novel
Cond. Ours c=20	-0.578	-0.722	0.565	0.467	0.314	0.598
Cond. Ours c=40	-0.504	-0.617	0.511	0.416	0.484	0.635
Cond. Ours c=60	-0.492	-0.585	0.520	0.406	0.583	0.613
Cond. Ours c=80	-0.475	-0.557	0.458	0.353	0.666	0.661
Uncond. Ours c=20	-0.660	-0.916	0.485	0.485	0.457	0.575
Uncond. Ours c=40	-0.537	-0.744	0.542	0.542	0.618	0.617
Uncond. Ours c=60	-0.486	-0.656	0.517	0.517	0.695	0.570
Uncond. Ours c=80	-0.482	-0.628	0.557	0.557	0.760	0.616
NoGM c=80	-2.388	-2.553	0.810	0.810	0.241	0.610
CVAE c=60	–	–	0.103	0.103	0.675	0.900
GVAE c=20	–	–	0.602	0.602	0.093	0.809

• GraphVAE は QM9 で化学的に有効な分子サンプルを意味のある割合で達成し、制限付きで ZINC のようなより大きな小さなグラフにもスケールする（ k=38 まで）。
• 条件付きモデルは、合理的なラベル順守（例えば原子分布のヒストグラムが正しい）を伴う分子を生成でき、未知のグラフへの外挿も示す。
• QM9 の無条件/条件付き設定全体で、潜在次元 c が高いほど妥当性と多様性がある程度まで向上するが、再構成と新規性のトレードオフが生じる。
• グラフマッチングは重要: 同一置換 (NoGM) を用いたアブレーションは多様性が低くなる。一方、完全なグラフマッチング手法は妥当性、精度、新規性のバランスをとる。
• 暗黙のノード確率は妥当性と新規性を改善できるが、多様性を減らし再構成損失を増加させる可能性がある。
• ベースラインと比較して、GVAE はより多くの有効なサンプルを生成する傾向があり（約60%程度まで）、出力の多様性も高い。一方でいくつかのベースラインは有効なサンプルが非常に少なかった。