[論文レビュー] Deep Generative Model for Periodic Graphs

Shiyu Wang, Xiaojie Guo+1 more|arXiv (Cornell University)|Jan 28, 2022

Graph Theory and Algorithms被引用数 14

ひとこと要約

本稿では、周期的グラフのための深層生成モデルであるPGD-VAEを提案する。このモデルは、周期性を強制する専用のエンコーダ・デコーダアーキテクチャを用いて、局所的およびグローバルなグラフパターンを分離する。生成品質、多様性、不変性の面で最先端の性能を達成し、合成データ、メッシュ、MOFデータセットにおいて、KLDスコアが低く、ノベルティおよび一意性が高いという点で、既存のモデルを上回る性能を発揮する。

ABSTRACT

Periodic graphs are graphs consisting of repetitive local structures, such as crystal nets and polygon mesh. Their generative modeling has great potential in real-world applications such as material design and graphics synthesis. Classical models either rely on domain-specific predefined generation principles (e.g., in crystal net design), or follow geometry-based prescribed rules. Recently, deep generative models has shown great promise in automatically generating general graphs. However, their advancement into periodic graphs have not been well explored due to several key challenges in 1) maintaining graph periodicity; 2) disentangling local and global patterns; and 3) efficiency in learning repetitive patterns. To address them, this paper proposes Periodical-Graph Disentangled Variational Auto-encoder (PGD-VAE), a new deep generative models for periodic graphs that can automatically learn, disentangle, and generate local and global graph patterns. Specifically, we develop a new periodic graph encoder consisting of global-pattern encoder and local-pattern encoder that ensures to disentangle the representation into global and local semantics. We then propose a new periodic graph decoder consisting of local structure decoder, neighborhood decoder, and global structure decoder, as well as the assembler of their outputs that guarantees periodicity. Moreover, we design a new model learning objective that helps ensure the invariance of local-semantic representations for the graphs with the same local structure. Comprehensive experimental evaluations have been conducted to demonstrate the effectiveness of the proposed method. The code of proposed PGD-VAE is availabe at https://github.com/shi-yu-wang/PGD-VAE.

研究の動機と目的

• ドメイン特異的または幾何的ルールに依存せずに、周期的グラフを学習・生成できる深層生成モデルの不足に応えること。
• グラフの周期性を維持すること、局所的およびグローバルなトポロジー的パターンを分離すること、繰り返し構造を効率的にモデリングすることの課題を克服すること。
• 周期的グラフにおける局所的構造ユニットとグローバルな接続パターンを、自動的に学習・分離・生成できるモデルを開発すること。
• 同じ局所構造を持つグラフ間で局所的意味的表現が不変であることを保証し、強固で汎用性の高い生成を可能にすること。
• MOF や結晶ネットワークなどの有効で多様かつ新規な周期的グラフの生成により、材料設計およびグラフィックス合成への応用を可能にすること。

提案手法

• 周期的グラフのための新規なエンコーダを提案し、高レベルのトポロジーと繰り返し構造を分離するための、別個のグローバルパターンエンコーダおよびローカルパターンエンコーダを備える。
• 局所構造、近隣構造、グローバル構造のデコーダを備えた階層的デコーダを設計し、その後に周期性を出力に強制するアセンブラを配置する。
• 同じ基本ユニットを共有するグラフ間でローカル意味的表現が不変であることを促進する新しい学習目的を導入する。
• 表現学習にグラフニューラルネットワーク（GIN または GCN）を採用し、再パラメータライゼーションを用いた変分オートエンコーダフレームワークを採用してエンドツーエンドの学習を実現する。
• z_l が局所構造を制御し、z_g がグローバルトポロジーを制御する分離された潜在空間を採用することで、制御可能な生成を可能にする。
• 再構成損失にKLD正則化と対照的損失を組み合わせ、ローカル表現の分離と不変性を強化する。

実験結果

リサーチクエスチョン

• RQ1 定義済みのルールに依存せずに、深層生成モデルが周期的グラフの局所的およびグローバルなパターンを自動的に学習・分離できるか？
• RQ2 生成プロセス中に周期性を明示的に強制することで、繰り返し構造ユニットから成る出力を保証できるか？
• RQ3 局所的およびグローバルな意味論の分離が、周期的グラフモデリングにおける生成品質、多様性、不変性をどの程度向上させるか？
• RQ4 周期的グラフベンチマークにおいて、再構成忠実度、ノベルティ、一意性という観点から、本手法は既存のグラフ生成モデルと比較してどの程度優れているか？
• RQ5 本モデルは、複雑な局所ユニットを有するMOF やその他の周期的材料を、化学的に有効かつ構造的に多様に生成できるか？

主な発見

• MeshSeqデータセットにおいて、PGD-VAEはすべての比較モデルの中で最小のKLDスコアを達成した：クラスタリング係数で0.8191、グラフ密度で0.5062。
• 合成データセットでは、PGD-VAEはKLDがクラスタリングで2.4275、密度で1.7611であり、GraphRNN や GRAN を含むベースラインを上回った。
• 分離なしのアブレーションバージョンであるPGD-VAE-1は、KLDが3.2672（クラスタリング）および0.8399（密度）と著しく悪化しており、分離の重要性を裏付けた。
• GINの代わりにGCNを用いたPGD-VAE-2は、QMOFでKLDがクラスタリングで0.8508、密度で0.9332を達成し、他のモデルを上回った。これは、複雑なMOFにおいてもモデルのロバスト性を示している。
• 単一のMLPデコーダを用いたモデル（PGD-VAE-3）は性能が低く、階層的デコーダ設計の必要性を示した。
• PGD-VAEは高い一意性およびノベルティスコアを達成し、多様で未発見のグラフを生成した。これは、材料設計およびオブジェクト合成において極めて重要である。