[論文レビュー] Dirichlet Graph Variational Autoencoder

Jia Li, Tomasyu Yu+6 more|arXiv (Cornell University)|Oct 9, 2020

Advanced Graph Neural Networks参考文献 36被引用数 11

ひとこと要約

本稿では、ディリクレ事前分布を用いてグラフのクラスタ所属を潜在因子としてモデル化し、VAE再構成項をスペクトル緩和平衡グラフカットに関連付ける、ディリクレグラフ変分オートエンコーダー（DGVAE）を提案する。また、低域通過フィルタリングを向上させるためにテイラー級数近似を用いたヒートカーネルを用いるGNN「Heatts」を導入し、グラフ生成およびクラスタリングタスクでGCNを上回る性能を発揮する。

ABSTRACT

Graph Neural Networks (GNNs) and Variational Autoencoders (VAEs) have been widely used in modeling and generating graphs with latent factors. However, there is no clear explanation of what these latent factors are and why they perform well. In this work, we present Dirichlet Graph Variational Autoencoder (DGVAE) with graph cluster memberships as latent factors. Our study connects VAEs based graph generation and balanced graph cut, and provides a new way to understand and improve the internal mechanism of VAEs based graph generation. Specifically, we first interpret the reconstruction term of DGVAE as balanced graph cut in a principled way. Furthermore, motivated by the low pass characteristics in balanced graph cut, we propose a new variant of GNN named Heatts to encode the input graph into cluster memberships. Heatts utilizes the Taylor series for fast computation of heat kernels and has better low pass characteristics than Graph Convolutional Networks (GCN). Through experiments on graph generation and graph clustering, we demonstrate the effectiveness of our proposed framework.

研究の動機と目的

• VAEに基づくグラフ生成における潜在因子の透明な解釈を提供すること。具体的には、それらをグラフクラスタ所属としてモデル化すること。
• VAEの再構成項を、既存のグラフクラスタリング目的関数の観点から理論的に解釈すること。これにより、VAEがグラフ再構成で優れた性能を発揮する理由を明らかにすること。
• バランスの取れたグラフカットに観察される低域通過フィルタリング特性を活用して、VAEベースのグラフ生成におけるエンコーダーを改善すること。
• テイラー級数を用いてヒートカーネルを効率的に計算する、新しいGNN変種「Heatts」を提案すること。これにより、GCNよりも優れた低域通過フィルタリングが可能になる。
• 提案されたフレームワークをグラフ生成およびクラスタリングタスクに適用し、既存のベースラインを上回る性能を示すこと。

提案手法

• グラフVAEにおける潜在変数を、ガウス分布ではなくディリクレ分布に従うクラスタ所属と定式化する。
• VAE再構成項を、スペクトル緩和平衡グラフカット目的関数として再解釈することで、VAE学習をグラフクラスタリングの原則に関連付ける。
• ヒートカーネルのテイラー級数近似を用いて効率的に計算するGNN「Heatts」を提案する。これにより、高速かつ正確な低域通過フィルタリングが可能になる。
• Heattsでは、ヒートカーネルに基づくメッセージパッシングを採用し、スペクトルクラスタリングの低域通過特性を模倣する。
• HeattsをDGVAEのエンコーダーとして統合し、入力グラフをクラスタに配慮した潜在表現にマッピングする。
• ディリクレ事前分布を用いた下界の期待値（ELBO）最適化を用いて、グラフ生成およびクラスタリングのエンドツーエンド学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 VAEベースのグラフ生成モデルにおける潜在因子が、本質的に何を表しているのか。
• RQ2 VAEの再構成項は、確立されたグラフクラスタリング目的関数の観点から、どのように理論的に解釈できるか。
• RQ3 GNNにおける低域通過フィルタリングは、グラフ生成およびクラスタリングのための潜在表現の質を向上させることができるか。
• RQ4 ヒートカーネルに基づく、より優れた低域通過特性を有するGNN（例：GCNと比較して）は、グラフ表現学習において標準的なGCNを上回る性能を発揮するか。
• RQ5 ディリクレ事前分布とヒートカーネルに基づくエンコーディングを用いるVAEフレームワークは、グラフ生成およびクラスタリングで最先端の性能を達成できるか。

主な発見

• DGVAEにおける再構成項は、数学的にスペクトル緩和平衡グラフカットに等しく、VAEの性能に対する原理的解釈を提供する。
• 提案されたGNN「Heatts」は、テイラー級数近似を用いたヒートカーネルを採用することで、GCNよりも優れた低域通過フィルタリングを実現し、表現学習の質を向上させる。
• PubMed、Citeseer、Wikiのデータセットにおいて、Heattsを搭載したDGVAEは、PubMedで64.9%の精度、25.8%のNMI、66.5%のF1スコアを達成し、GCNベースのベースラインを上回る。
• グラフクラスタリングにおいて、Heattsを搭載したDGVAEは、Citeseerで51.3%の精度、Wikiで38.9%の精度を達成し、GCNベースのモデルおよびアブレーションバリアントを上回る。
• アブレーションスタディの結果、ディリクレ事前分布とHeattsエンコーダーの両方が不可欠であることが確認され、いずれかを削除すると性能が著しく低下する。
• 本フレームワークは、グラフ生成およびクラスタリングにおいて優れた性能を示し、VAEと平衡グラフカットの間の理論的関連性を裏付ける。