[論文レビュー] Autoregressive Diffusion Model for Graph Generation

Lingkai Kong, Jiaming Cui+4 more|arXiv (Cornell University)|Jul 17, 2023

Advanced Graph Neural Networks被引用数 4

ひとこと要約

本稿では、グラフ構造のトポロジーに基づいてデータに依存するノード順序を学習し、自己回帰的ノイズ除去を用いることで、離散的グラフ空間上で直接動作する、初めての自己回帰的拡散モデルであるGraphArmを提案する。この手法により、従来の拡散ベース手法よりも著しく高速なサンプリングと、制約を考慮した生成を実現しつつ、最先端の生成品質を達成した。

ABSTRACT

Diffusion-based graph generative models have recently obtained promising results for graph generation. However, existing diffusion-based graph generative models are mostly one-shot generative models that apply Gaussian diffusion in the dequantized adjacency matrix space. Such a strategy can suffer from difficulty in model training, slow sampling speed, and incapability of incorporating constraints. We propose an \emph{autoregressive diffusion} model for graph generation. Unlike existing methods, we define a node-absorbing diffusion process that operates directly in the discrete graph space. For forward diffusion, we design a \emph{diffusion ordering network}, which learns a data-dependent node absorbing ordering from graph topology. For reverse generation, we design a \emph{denoising network} that uses the reverse node ordering to efficiently reconstruct the graph by predicting the node type of the new node and its edges with previously denoised nodes at a time. Based on the permutation invariance of graph, we show that the two networks can be jointly trained by optimizing a simple lower bound of data likelihood. Our experiments on six diverse generic graph datasets and two molecule datasets show that our model achieves better or comparable generation performance with previous state-of-the-art, and meanwhile enjoys fast generation speed.

研究の動機と目的

• 従来のワンショット拡散ベースのグラフ生成モデルが抱える課題、すなわちサンプリングの遅さ、制約処理の悪さ、連続的デクアンタイゼーションに依存する問題を解消すること。
• デクアンタイゼーションによる分布歪みを回避するため、離散的グラフ空間上で直接動作する拡散プロセスを設計すること。
• グラフの構造的規則性を捉えるデータに依存するノード吸収順序を学習することで、効率的かつ自己回帰的なグラフ生成を実現すること。
• グラフの順列不変性を活用し、尤度の変分下界を用いて、拡散順序ネットワークとノイズ除去ネットワークを同時に学習すること。
• 分子やソーシャルネットワークを含む多様なグラフデータセットにおいて、生成速度と性能の向上を実証すること。

提案手法

• ノードを1つずつ順次除去する自己回帰的拡散プロセスを提案し、離散的グラフ空間上で直接動作する。
• グラフのトポロジーに基づいてデータに依存するノード順序を学習する拡散順序ネットワークを導入し、尤度の近似精度と学習安定性を向上させる。
• 生成済みのノードを用いて、各ノードの種別と接続関係を逐次予測することで、自己回帰的にグラフを再構築する逆方向ノイズ除去ネットワークを設計する。
• グラフの順列不変性を活用し、尤度の変分下界を用いて強化学習と勾配降下法を組み合わせ、拡散順序ネットワークとノイズ除去ネットワークを同時に学習する。
• 自己回帰的生成におけるエッジ間の依存関係を捉えるために、混合マルチノミアル分布を用いてエッジ予測をモデル化する。
• グラフの順列不変性を活用することで、学習された順序の逆順を逆方向プロセスで正確に使用し、トレーニングの簡素化と一貫性を確保する。

Figure 1: The autoregressive graph diffusion process. In the forward pass, the nodes are autoregressively decayed into the absorbing states, dictated by an ordering generated by the diffusion ordering network $q_{\phi}(\sigma|G_{0})$ . In the reverse pass, the generator network $p_{\theta}(G_{t}|G_{

実験結果

リサーチクエスチョン

• RQ1 デクアンタイゼーションを経由せずに、離散的グラフ空間上で直接動作する拡散ベースのグラフ生成モデルは、学習安定性と忠実度の向上を達成できるか？
• RQ2 拡散プロセスにおいてデータに依存するノード順序を学習することで、ランダム順序と比較して生成品質が向上し、収束が速くなるか？
• RQ3 離散的グラフ空間における自己回帰的拡散は、ワンショット拡散モデルでは実現できない効率的かつ制約を考慮したグラフ生成を可能にするか？
• RQ4 変分下界に基づく拡散順序ネットワークとノイズ除去ネットワークの共同学習は、モデル性能と学習効率にどのように影響を与えるか？
• RQ5 学習されたノード順序は、類似した構造的性質を有するグラフ間でどれほど一般化可能か？

主な発見

• GraphArmは6つの汎用グラフデータセットおよび2つの分子データセットにおいて、最先端または同等の性能を達成し、従来の拡散ベースモデルよりも優れた生成品質を示した。
• Cavemanデータセットでは、100%の妥当性を達成し、次数スコア0.176、クラスタリングスコア0.157、オルビットスコア0.144を記録し、OMおよびGRANを上回った。
• Community-smallデータセットでは、平均で2.6件のクロスクラスタノード遷移を記録したのに対し、OA-ARDMは5.6であった。これは、生成における構造的一致性の向上を示している。
• GraphArmが学習した拡散順序により、生成がより一貫性を示し、1つのコミュニティを生成した後、別のコミュニティを生成する順序で動作する。一方、ランダム順序を用いたOA-ARDMは、このような構造を捉えられなかった。
• 自己回帰的性質のおかげで、GraphArmのサンプリング速度は、従来のワンショット拡散モデルよりも著しく高速であり、ステップ数がノード数に等しくなるため、長時間のノイズステップに依存しない。
• アブレーションスタディの結果、学習された拡散順序が極めて重要であることが確認された。ランダム順序を用いたOA-ARDMは、特に構造的一致性と制約満足度において顕著に性能が低下した。

Figure 2: The generation procedure at step $t$ with the denoising network $p_{\theta}(G_{t}|G_{t+1})$ . The denoising network predicts the node type of node $v_{\sigma_{t}}$ and its edges with all previously denoised nodes.