[論文レビュー] Disentangling Interpretable Generative Parameters of Random and Real-World Graphs

Niklas Stoehr, Emine Yılmaz+2 more|arXiv (Cornell University)|Oct 12, 2019

Advanced Graph Neural Networks参考文献 37被引用数 12

ひとこと要約

本稿では、β-VAEを用いた分離表現学習フレームワークを提案し、教師なしでグラフ構造から解釈可能な生成パラメータ（例：Erdős–Rényiグラフにおけるnおよびp）を回復する。教師あり特徴工学を用いずに、分離正則化を施したグラフオートエンコーダーを訓練することで、生成パラメータに対応する1対1の写像を持つ潜在変数を学習し、属性ランダマイズと相互情報解析を用いて、グラフトポロジーとノード属性の依存関係を定量化する。合成データ上でMIGスコア0.335を達成した。

ABSTRACT

While a wide range of interpretable generative procedures for graphs exist, matching observed graph topologies with such procedures and choices for its parameters remains an open problem. Devising generative models that closely reproduce real-world graphs requires domain knowledge and time-consuming simulation. While existing deep learning approaches rely on less manual modelling, they offer little interpretability. This work approaches graph generation (decoding) as the inverse of graph compression (encoding). We show that in a disentanglement-focused deep autoencoding framework, specifically Beta-Variational Autoencoders (Beta-VAE), choices of generative procedures and their parameters arise naturally in the latent space. Our model is capable of learning disentangled, interpretable latent variables that represent the generative parameters of procedurally generated random graphs and real-world graphs. The degree of disentanglement is quantitatively measured using the Mutual Information Gap (MIG). When training our Beta-VAE model on ER random graphs, its latent variables have a near one-to-one mapping to the ER random graph parameters n and p. We deploy the model to analyse the correlation between graph topology and node attributes measuring their mutual dependence without handpicking topological properties.

研究の動機と目的

• 手動による特徴工学を用いずに、ランダムおよび実世界のグラフにおける解釈可能な生成パラメータ（例：n, p）を同定する課題に対処すること。
• 分離正則化を施した深層オートエンコーダーを用いて、観測されたグラフ構造の背後にある生成メカニズムを教師なしで発見すること。
• 事前に選択されたトポロジー特徴に依存せずに、グラフトポロジーとノード属性の依存関係を定量化すること。
• 潜在空間における生成要因を分離することで、解釈性とモデルの透明性を向上させる手法を開発すること。

提案手法

• グラフ畳み込みネットワーク（GCN）をエンコーダー、畳み込みデコーダーをデコーダーとして用い、β-VAEをグラフに適応させ、隣接行列を再構築する。
• 潜在変数zを解釈可能な生成パラメータvに写像するパラメータデコーダーhを導入し、線形写像によって1対1の対応関係を強制する。
• 再構築損失とKL正則化のバランスを取るためにβ-アニーリング戦略を採用し、直交的かつ分離された潜在表現を促進する。
• ノード属性ランダマイズ手順を用いて、トポロジーと属性の独立性を検証し、ランダマイズ対象ノードの割合ΔΩを変化させる。
• 相互情報ギャップ（MIG）を用いて分離性を定量化し、ΔΩと潜在変数の変化の間の相互情報の差を測定する。
• ノード属性を一様に割り当てた合成ERグラフ上でモデルを訓練し、属性ランダマイズ下での潜在変数のシフトを評価する。

実験結果

リサーチクエスチョン

• RQ1 β-VAEモデルにおける分離潜在変数は、Erdős–Rényiグラフにおけるnやpといった解釈可能な生成パラメータを表現できるか？
• RQ2 潜在空間は、トポロジー生成メカニズムとノード属性生成プロセスをどの程度分離できるか？
• RQ3 手動で選択されたトポロジー特徴に依存せずに、グラフトポロジーとノード属性の相互依存関係をどのように定量化できるか？
• RQ4 Microsoft Academic Graphのような実世界のグラフに適用した場合、モデルは分離性を保持するか？

主な発見

• β-VAEモデルは、Erdős–Rényiグラフにおける生成パラメータnおよびpに対して、ほぼ1対1の写像を達成しており、有効な分離性が裏付けられた。
• 潜在変数z₀およびz₁はノード属性のランダマイズに対して不変であり、これらがトポロジーのパラメータ（nおよびp）を符号化していることを示唆している。一方、z₂は属性の変化に対して非常に感受的である。
• 属性ランダマイズにおけるMIGスコア0.335は、トポロジーとノード属性の間の中程度の分離性を示しており、独立した生成要因の仮説を支持する。
• Microsoft Academic Graphでは、共同作業パターン（トポロジー）と被引用回数（ノード属性）の間に強い相関関係が確認され、実世界の文脈でも有効であることが示された。
• モデルは潜在空間における生成メカニズムを効果的に分離し、教師なしでグラフ生成プロセスの背後にあるメカニズムを発見可能である。