[論文レビュー] Generative Diffusion Models on Graphs: Methods and Applications

Cheng-Yi Liu, Wenqi Fan+6 more|arXiv (Cornell University)|Feb 6, 2023

Bioinformatics and Genomic Networks被引用数 8

ひとこと要約

グラフ上の生成拡散モデルに関する網羅的調査で、SMLD、DDPM、SGMのパラダイム、グラフ適用、分子およびタンパク質モデリングへの応用を詳述する。

ABSTRACT

Diffusion models, as a novel generative paradigm, have achieved remarkable success in various image generation tasks such as image inpainting, image-to-text translation, and video generation. Graph generation is a crucial computational task on graphs with numerous real-world applications. It aims to learn the distribution of given graphs and then generate new graphs. Given the great success of diffusion models in image generation, increasing efforts have been made to leverage these techniques to advance graph generation in recent years. In this paper, we first provide a comprehensive overview of generative diffusion models on graphs, In particular, we review representative algorithms for three variants of graph diffusion models, i.e., Score Matching with Langevin Dynamics (SMLD), Denoising Diffusion Probabilistic Model (DDPM), and Score-based Generative Model (SGM). Then, we summarize the major applications of generative diffusion models on graphs with a specific focus on molecule and protein modeling. Finally, we discuss promising directions in generative diffusion models on graph-structured data. For this survey, we also created a GitHub project website by collecting the supporting resources for generative diffusion models on graphs, at the link: https://github.com/ChengyiLIU-cs/Generative-Diffusion-Models-on-Graphs

研究の動機と目的

• グラフ上の生成拡散法（SMLD、DDPM、SGM）の網羅的な概要を提供する。
• 代表的なグラフ拡散アルゴリズムとその主要技術を要約する。
• 分子モデリングとタンパク質モデリングにおける主要な応用を強調し、今後の方向性を議論する。

提案手法

• 3つの拡散パラダイム（SMLD、DDPM、SGM）とそれらのグラフ適用を提示する。
• グラフ固有の順方向・逆方向プロセスおよびスコア/周辺推定のアプローチを説明する。
• 離散拡散と連続拡散の比較、グラフ用の等変性/グラフベースアーキテクチャを論じる。
• EDP-GNN、ConfGF、Haefeli ら、DiGress、EDMs、GDSS、GSDM、GraphGDP、SGGMのグラフ拡張など、代表的な手法を要約する。

実験結果

リサーチクエスチョン

• RQ1 グラフに対して用いられる主な拡散パラダイムは何か、それらはグラフ構造にどう適用されるのか。
• RQ2 代表的なグラフ拡散アルゴリズムとその核心技術は何か。
• RQ3 分子およびタンパク質のグラフにおける生成拡散モデルの主な応用は何か。
• RQ4 グラフ構造データに対する拡散モデルの今後の有望な方向性は何か。

主な発見

• 論文はグラフ拡散手法をSMLD、DDPM、SGMに分類し、各々の代表的アルゴリズムを要約している。
• グラフ拡散法は、順方向・逆方向プロセスやグラフニューラルアーキテクチャを用いて、離散構造・複雑な依存関係・置換不変性に対処している。
• 応用は分子モデリング（コンフォメーション生成、ドッキング）とタンパク質モデリングを中心に、等変性・グラフトランスフォーマー・エネルギーガイダンスなど多様なアーキテクチャ変種がある。
• グラフ拡張モデルの材料を集約するGitHubリソースが存在する。
• ドメイン知識（エネルギー関数、原子間力、等変性）と自己回帰対一括生成戦略の統合など、いくつかの進展がある。