[論文レビュー] DiGress: Discrete Denoising diffusion for graph generation

Clément Vignac, Igor Krawczuk+4 more|arXiv (Cornell University)|Sep 29, 2022

Advanced Graph Neural Networks被引用数 70

ひとこと要約

DiGressは、カテゴリカルなノードとエッジ属性を持つグラフの離散的ノイズ除去拡散モデルを導入し、グラフトランスフォーマを用いてマルコフ的な離散拡散を反転させつつ疎性を維持します。分子グラフと非分子グラフの双方で最先端の結果を達成し、大規模データセットへスケールします。

ABSTRACT

This work introduces DiGress, a discrete denoising diffusion model for generating graphs with categorical node and edge attributes. Our model utilizes a discrete diffusion process that progressively edits graphs with noise, through the process of adding or removing edges and changing the categories. A graph transformer network is trained to revert this process, simplifying the problem of distribution learning over graphs into a sequence of node and edge classification tasks. We further improve sample quality by introducing a Markovian noise model that preserves the marginal distribution of node and edge types during diffusion, and by incorporating auxiliary graph-theoretic features. A procedure for conditioning the generation on graph-level features is also proposed. DiGress achieves state-of-the-art performance on molecular and non-molecular datasets, with up to 3x validity improvement on a planar graph dataset. It is also the first model to scale to the large GuacaMol dataset containing 1.3M drug-like molecules without the use of molecule-specific representations.

研究の動機と目的

• 離散拡散を使って疎性と構造を_preserve_するグラフ生成を動機づける。
• 離散ノード/エッジカテゴリ上で動作する拡散過程を開発する。
• ノイズのあるグラフからクリーンなグラフをデノイズして再構築するグラフトランスフォーマを訓練する。
• 周辺ノイズモデルと補助特徴量で性能を向上させる。
• 離散ガイダンスと補助特徴量による条件付きグラフ生成を可能にする。

提案手法

• ノードとエッジカテゴリのマルコフ遷移行列 Q^t_X および Q^t_E を用いて離散拡散を定義する。
• q(G^t|G^{t-1}) = (X^{t-1} Q^t_X, E^{t-1} Q^t_E) からノード/エッジ型をサンプリングして G^t を拡散し、無向グラフの対称化を行う。
• クロスエントロピー損失 l = sum_i CE(x_i, p_i^X) + lambda sum_{i,j} CE(e_{ij}, p_{ij}^E) を最小化してクリーンなノード/エッジ分布を予測するような置換不変なグラフトランスフォーマ phi_theta を訓練する。
• 逆拡散 p_theta(G^{t-1}|G^t) をノードとエッジごとに積としてモデル化し、離散予測を周辺化して p_theta(x_i^{t-1}|G^t) および p_theta(e_{ij}^{t-1}|G^t) を得る。
• データ周辺分布と一致する周辺ノイズ prior q_X, q_E を用いて訓練を改善し、入力に構造的/スペクトル特徴を追加する。
• 対象特性を導くための離散ガイダンスを導入してサンプリングを制御する特性回帰器 g_eta を導入する。

実験結果

リサーチクエスチョン

• RQ1 グラフ属性に対する離散拡散は、疎性を維持しつつ複雑なグラフ分布を効果的にモデルできるか。
• RQ2 周辺確率を保持するノイズモデルは、拡散訓練とグラフのサンプル品質を改善するか。
• RQ3 構造的/スペクトル的特徴などのアーキテクチャ的・特徴量拡張は、グラフのデノイズ性能を高めるか。
• RQ4 DiGressは離散ガイダンスとグラフレベル特性を用いた条件付きグラフ生成をサポートできるか。
• RQ5 オートレグレッシブモデルと比較して、MOSESの大規模データセットに対するDiGressのスケーラビリティはどうか。

主な発見

度	クラスタ	軌道	V.U.N.
6.9	1.7	3.1	5%
1.4	1.2	1.7	75%

• DiGressは分子・非分子グラフ生成のベンチマークで最先端の性能を達成している。
• 平面グラフでは、DiGressはベースラインより最大3倍の妥当性を達成。
• DiGressはGuacaMol（1.3M分子）に対して分子特有の表現を用いずにスケールした初めてのワンショットグラフモデルである。
• 周辺遷移ノイズを用いることで訓練とサンプル品質が均一ノイズより改善される。
• QM9条件付け実験で、離散ガイダンスはターゲット特性の平均絶対誤差を低減させる。
• DiGressは大規模MOSESで autoregressive モデルと同等の性能を、GuacaMolでは競合的指標を示し、スケーラビリティを実証する。