[論文レビュー] Order Matters: Probabilistic Modeling of Node Sequence for Graph Generation

Xiaohong Chen, Han Xu+3 more|arXiv (Cornell University)|Jun 11, 2021

Topic Modeling参考文献 30被引用数 4

ひとこと要約

本稿では、自己回帰的グラフ生成モデルにおけるノード順序のモデリングのための変分推論アプローチを提案する。グラフとその生成順序を同時にモデリングすることにより、正確な周辺尤度推定が可能になる。ノード順序の上での変分分布を学習することで、尤度の変分下界がよりタイトになり、固定またはランダムな順序を用いる従来手法と比較して、より高品質なグラフが生成される。

ABSTRACT

A graph generative model defines a distribution over graphs. One type of generative model is constructed by autoregressive neural networks, which sequentially add nodes and edges to generate a graph. However, the likelihood of a graph under the autoregressive model is intractable, as there are numerous sequences leading to the given graph; this makes maximum likelihood estimation challenging. Instead, in this work we derive the exact joint probability over the graph and the node ordering of the sequential process. From the joint, we approximately marginalize out the node orderings and compute a lower bound on the log-likelihood using variational inference. We train graph generative models by maximizing this bound, without using the ad-hoc node orderings of previous methods. Our experiments show that the log-likelihood bound is significantly tighter than the bound of previous schemes. Moreover, the models fitted with the proposed algorithm can generate high-quality graphs that match the structures of target graphs not seen during training. We have made our code publicly available at \hyperref[https://github.com/tufts-ml/graph-generation-vi]{https://github.com/tufts-ml/graph-generation-vi}.

研究の動機と目的

• 自己回帰的グラフ生成モデルにおけるノード順序の周辺化の非可解性に対処すること。
• グラフ生成におけるノード系列のモデリングのための厳密な確率的フレームワークを提供すること。
• 変分推論を用いてノード順序を推定することで、正確な尤度推定を可能にし、モデルの訓練と評価を改善すること。
• 従来手法で用いられる任意のまたは標準的なノード順序への依存を排除すること。
• データ駆動型の意味のあるノード順序を学習することで、生成グラフの品質を向上させること。

提案手法

• 本稿では、グラフの自動同型性を考慮した、グラフ G とノード順序 π の同時確率 p(G, π) を導出する。
• 与えられたグラフに対して、有望な順序を推論するためのニューラルネットワークを学習する、変分推論アプローチを定式化する。
• 訓練中に、固定またはランダムなノード順序の必要性を排除するため、log p(G) の変分下界を最大化する。
• 評価のため、真の尤度を推定するために重要度サンプリングを用いる。
• アドセンシー行列ベースおよびグラフ系列ベースの自己回帰モデルの両方への適用を実施する。
• 変分分布が生成プロセスをガイドするように、変分下界に基づいてエンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 ノード順序が観測不能な自己回帰的グラフ生成モデルにおいて、グラフの周辺尤度はどのように推定可能か？
• RQ2 自己回帰的生成におけるグラフ確率の計算とグラフの自動同型性の関係は何か？
• RQ3 ノード順序の上での変分推論は、従来手法と比較して尤度の下界をよりタイトにできるか？
• RQ4 データ駆動型のノード順序を学習することで、固定またはランダムな順序と比較して生成グラフの品質が向上するか？
• RQ5 提案手法により、尤度を用いたより正確なモデル評価と比較が可能になるか？

主な発見

• 変分下界は、特に構造的データセット（Community-small）において、従来の下界と比べて顕著にタイトになっている。
• Community-small データセットでは、VI モデルは1エッジによるコミュニティ間接続を正確に捉えているが、BFS や一様分布ベースラインはそのような構造を捉えられていない。
• VI モデルで生成されたグラフは、次数分布、クラスタ係数、4ノードオルビットパターンの両方をより良く再現しており、実データとの類似度が高くなっている。
• テストセットにおけるMMDスコアは6つのデータセットのうち4つで一貫した改善を示し、Enzymes、Yeast、Cora ではベースラインを上回っている。
• 変分分布は、アドセンシー行列におけるバンド行列のような意味のあるパターンを学習しており、データの構造的特徴と整合している。
• 予測性能が向上し、尤度を用いたより信頼性の高いモデル評価が可能になるが、スケーラビリティは依然として課題である。