[論文レビュー] A Survey on Graph Diffusion Models: Generative AI in Science for Molecule, Protein and Material

Mengchun Zhang, Maryam Qamar+5 more|arXiv (Cornell University)|Jan 1, 2023

Bioinformatics and Genomic Networks被引用数 26

ひとこと要約

本サーベイは、科学的応用分野における生成AIにおけるグラフ拡散モデルについて包括的な概要を提供しており、主に分子、タンパク質、材料の生成に焦点を当てている。基礎的なグラフ生成手法、グラフ上での拡散モデルのメカニズム、および科学的AI分野における性能、課題、未解決の研究課題をレビューしている。

ABSTRACT

Diffusion models have become a new SOTA generative modeling method in various fields, for which there are multiple survey works that provide an overall survey. With the number of articles on diffusion models increasing exponentially in the past few years, there is an increasing need for surveys of diffusion models on specific fields. In this work, we are committed to conducting a survey on the graph diffusion models. Even though our focus is to cover the progress of diffusion models in graphs, we first briefly summarize how other generative modeling methods are used for graphs. After that, we introduce the mechanism of diffusion models in various forms, which facilitates the discussion on the graph diffusion models. The applications of graph diffusion models mainly fall into the category of AI-generated content (AIGC) in science, for which we mainly focus on how graph diffusion models are utilized for generating molecules and proteins but also cover other cases, including materials design. Moreover, we discuss the issue of evaluating diffusion models in the graph domain and the existing challenges.

研究の動機と目的

• グラフ構造データ、特に科学的分野における拡散モデルに関する専門的なサーベイの増加するニーズに対応すること。
• 自己回帰的、VAE、GAN、特に拡散モデルに基づくグラフ生成技術の体系的レビューを提供すること。
• 標準化された指標を用いて、分子、タンパク質、材料の生成におけるグラフ拡散モデルの性能を評価すること。
• スケーラビリティ、不規則なグラフ構造、評価基準、解釈可能性といった、グラフ拡散モデリングにおける主要な課題を特定・議論すること。
• 研究者が拡散モデルを科学的グラフ生成タスクに応用するうえでの未解決問題および今後の方向性へ導くこと。

提案手法

• 構造的不変性を捉えることが難しいという点を強調しながら、自己回帰モデル（例：GraphRNN）、VAE、ノーマライジングフロー、GANを含む、先行するグラフ生成手法をレビュー。
• 前向きおよび逆向きのノイズ除去プロセス、スコアベースモデリング、ノイズ除去スコアマッチングを含む、拡散モデルのコアメカニズムを紹介。
• ノードおよびエッジのノイズスケジュールを定義することで、グラフ構造上でのスコアベース生成モデリングを適用し、グラフデータへの拡散モデリングを実装。
• 潜在空間における反復的ノイズ除去を通じてノードとエッジの同時分布をモデル化する統一フレームワークを採用。
• 逆方向の拡散プロセスにおけるスコア関数推定にグラフニューラルネットワーク（GNN）を用い、エンドツーエンドの学習を可能に。
• 統計的指標（例：KLD、MMD）、分類器ベースの指標（例：FID）、および有効性、一意性、新規性といったタスク固有の指標を用いてモデルを評価。

実験結果

リサーチクエスチョン

• RQ1 拡散モデルは、VAE、GAN、自己回帰モデルなどの従来のグラフ生成手法と比較して、現実的で整合性のある分子およびタンパク質グラフの生成においてどのように異なるか？
• RQ2 不規則的かつ可変サイズのグラフ上での効果的なグラフ拡散モデリングを可能にする、主なアーキテクチャ的およびトレーニング的要素は何か？
• RQ3 有効性、一意性、新規性といった評価指標を、生成された科学的グラフの品質を的確に評価するためにどのように意味的に適用できるか？
• RQ4 大規模または極めて不規則なグラフへの拡散モデルの適用における主なスケーラビリティおよび構造的課題は何か？
• RQ5 拡散モデルは、多様で化学的に妥当かつ機能的に関連性のある分子および材料をどの程度の範囲で生成できるか？

主な発見

• グラフ拡散モデルは、多様で化学的に妥当な分子の生成において、従来の手法を上回る性能を示しており、一部のモデルでは有効性率が95％を超える報告がある。
• スコアベース生成モデリングの使用により、複雑な高次依存関係を学習することで、分子およびタンパク質構造の高精度な生成が可能になった。
• FIDや分類器ベースの指標を用いた評価により、拡散モデルから生成されたグラフが潜在空間において実際のグラフと高い類似性を示していることが判明。
• 強力な性能を発揮しているものの、特に大規模グラフにおいては逆方向サンプリングにおける2次関数的複雑性のため、スケーラビリティの問題に直面している。
• 統計的および分類器ベースの指標が、下流の化学的または生物学的有用性と常に相関しないことから、普遍的な評価指標の欠如が主な課題の一つである。
• グラフ拡散モデルにおけるスコア関数の解釈可能性は限定的であり、科学的文脈におけるモデル挙動の分析やデバッグが困難である。