[論文レビュー] Constrained Generation of Semantically Valid Graphs via Regularizing Variational Autoencoders

Tengfei Ma, Jie Chen+1 more|arXiv (Cornell University)|Sep 7, 2018

Bioinformatics and Genomic Networks被引用数 82

ひとこと要約

この論文は、制約ペナルティの周辺化を通じてグラフの妥当性制約を課す正則化VAEフレームワークを導入し、分子とノード適合グラフの意味的に有効なグラフ生成率を高める。

ABSTRACT

Deep generative models have achieved remarkable success in various data domains, including images, time series, and natural languages. There remain, however, substantial challenges for combinatorial structures, including graphs. One of the key challenges lies in the difficulty of ensuring semantic validity in context. For examples, in molecular graphs, the number of bonding-electron pairs must not exceed the valence of an atom; whereas in protein interaction networks, two proteins may be connected only when they belong to the same or correlated gene ontology terms. These constraints are not easy to be incorporated into a generative model. In this work, we propose a regularization framework for variational autoencoders as a step toward semantic validity. We focus on the matrix representation of graphs and formulate penalty terms that regularize the output distribution of the decoder to encourage the satisfaction of validity constraints. Experimental results confirm a much higher likelihood of sampling valid graphs in our approach, compared with others reported in the literature.

研究の動機と目的

• 深層生成モデルで意味的に有効なグラフを生成する課題を動機づけ、解決する。
• 潜在変数の周辺化を通じてグラフ妥当性制約を課すVAEの正則化フレームワークを提案する。
• 分子データセットと合成ノード適合グラフにおける生成グラフの妥当性の改良を実証する。
• 正則化が潜在空間構造と再構成性能に与える影響を示す。

提案手法

• グラフをノードラベル行列 F とエッジラベルテンソル E で表現し、行列表現とする。
• p_theta(G|z) をVAEでモデル化し、デコーダ出力を周辺化された制約ペナルティ over z で正則化する（すべての z について g_i(theta,z)≤0）。
• 潜在事前分布 p_theta(z) に対して二乗制約を積分して得られる近似の正則化項として tilde-hatted 制約項（ハット）を定義する。
• ランプ関数 g_i(theta,z)_+ を用いて違反（g_i>0）のみをペナルティ化し、モンテカルロサンプリングで積分を近似する。
• -ELBO に mu 倍の周辺化された制約ペナルティの平方根を加えた形で学習する（Eq. 7 と Eq. 8）。
• グレース/価数の等式の具体的制約を構成する（Eq. 9, Eq. 10, Eq. 11） 。

実験結果

リサーチクエスチョン

• RQ1 さまざまな領域（分子とノード適合グラフ）で意味的妥当性を持つグラフ生成を正則化VAEフレームワークが強制できるか。
• RQ2 制約周辺分布と Ramp ベースのペナルティが、標準的なVAEs と比較して妥当性、斬新性、および再構成指標にどのような影響を与えるか。
• RQ3 正則化が潜在空間構造とデノイズ/再構成能力に及ぼす影響は。
• RQ4 提案された制約は、幽霊ノード、価数、連結性、適合性制約によって非分子グラフにも一般化できるか。

主な発見

方法	% 有効	ELBO
QM9 Standard	83.2	-17.3
QM9 Regularized	96.6	-18.5
ZINC Standard	29.6	-46.5
ZINC Regularized	34.9	-47.0
Node-compatible Standard	40.2	-42.5
Node-compatible Regularized	98.4	-51.2

• 正則化は、QM9、ZINC、およびノード適合データセットにおいて前提分布から生成される有効グラフの割合を大幅に増加させる。
• QM9 では、正則化により妥当性が 83.2% から 96.6% に上昇（ELBO は -17.3 から -18.5 にわずかに低下）。
• ZINC では、妥当性が 29.6% から 34.9% に上昇（ELBO は -46.5 から -47.0）。
• ノード適合グラフでは、妥当性が 40.2% から 98.4% に上昇（ELBO は -42.5 から -51.2）。
• 正則化されたVAEs は妥当性でベースラインを上回る（QM9: 96.6% 対 GVAE 60.2%、CVAE 10.3%; ZINC: 34.9% 対 GVAE 7.2%、CVAE 0.7%）。
• 正則化により意味のあるデノイズ/再構成と滑らかな潜在空間遷移を実現できる（潜在空間の可視化と補間を示す）。
• 摂動下での有効グラフ再構成確率を大幅に改善（標準VAE: 11.2% 対 正則化: 93.8%）。