[論文レビュー] Deepened Graph Auto-Encoders Help Stabilize and Enhance Link Prediction

Xinxing Wu, Qiang Cheng|arXiv (Cornell University)|Mar 21, 2021

Advanced Graph Neural Networks参考文献 39被引用数 6

ひとこと要約

本稿では、標準的な自己符号化器（AE）をグラフ自己符号化器（GAE）アーキテクチャに統合することで、ノード特徴量とグラフ構造を共同でモデリングできる深層的・残差型学習を可能にする、深層化されたグラフ自己符号化器（DGAE）を提案する。この手法により、さまざまな次数の多項式フィルタを学習可能な残差接続によって表現することで、リンク予測の安定性と性能が向上する。実世界の複数のデータセットにおいて、最先端の性能を達成している。

ABSTRACT

Graph neural networks have been used for a variety of learning tasks, such as link prediction, node classification, and node clustering. Among them, link prediction is a relatively under-studied graph learning task, with current state-of-the-art models based on one- or two-layer of shallow graph auto-encoder (GAE) architectures. In this paper, we focus on addressing a limitation of current methods for link prediction, which can only use shallow GAEs and variational GAEs, and creating effective methods to deepen (variational) GAE architectures to achieve stable and competitive performance. Our proposed methods innovatively incorporate standard auto-encoders (AEs) into the architectures of GAEs, where standard AEs are leveraged to learn essential, low-dimensional representations via seamlessly integrating the adjacency information and node features, while GAEs further build multi-scaled low-dimensional representations via residual connections to learn a compact overall embedding for link prediction. Empirically, extensive experiments on various benchmarking datasets verify the effectiveness of our methods and demonstrate the competitive performance of our deepened graph models for link prediction. Theoretically, we prove that our deep extensions inclusively express multiple polynomial filters with different orders.

研究の動機と目的

• 現在の最先端のリンク予測モデルが浅いGAEに依存しており、深層アーキテクチャの利点を十分に活かせていないという制限に対処すること。
• GAEの深さを増すと観察されるリンク予測性能の低下（過剰平滑化と一般化性能の低下と関連）を克服すること。
• 隣接行列とノード特徴量の両方からのマルチスケール情報を利用できる深層GAEアーキテクチャを開発すること。
• 深層化されたモデルの表現力が、さまざまな次数の多項式フィルタを含められることを理論的に正当化すること。
• 多様な実世界のデータセットにおいて、提案手法の性能と安定性を実証的に検証し、浅いGAEを上回ることを示すこと。

提案手法

• ノード特徴量と隣接行列の統合埋め込みから低次元でコンactな表現を抽出するために、GAEのエンコーダーに標準的な自己符号化器（AE）を統合する。
• グラフ構造とノード特徴量の低精度で共通埋め込み表現から残差接続を構築し、性能の低下を伴わずに深層学習を可能にする。
• 異なる次数の多項式フィルタの有効な組み合わせを学習できるように、残差接続に学習可能な結合係数を導入する。
• 訓練の安定化と一般化性能の向上を図るため、スキップ接続に単位行列を含める正則化技術を適用する。
• 最大72層の深層アーキテクチャを採用し、浅いGAEでは不可能な高次近傍依存関係を捉える能力を有する。
• 標準AEとグラフAEの両方をエンドツーエンドで最適化する共同最適化フレームワークを採用し、構造的および特徴的情報を共通埋め込みとして統合する。

実験結果

リサーチクエスチョン

• RQ1 標準的な深層GAEでは観察される性能の低下とは対照的に、GAEアーキテクチャの深層化がリンク予測性能の安定化と向上をもたらすか？
• RQ2 標準的な自己符号化器をGAEに効果的に統合することで、リンク予測のための表現学習をどのように向上させられるか？
• RQ3 提案された深層化アーキテクチャが、さまざまな次数の多項式フィルタを表現可能であり、マルチスケールのグラフ情報の捉え込みが可能か？
• RQ4 共通埋め込みされたノードおよびエッジ特徴量からの残差接続は、深層GAEにおける一般化性能の向上と過剰平滑化の防止に寄与するか？
• RQ5 提案手法は、スパarsityや構造が異なる多様な実世界のグラフデータセットに対して、堅牢か？

主な発見

• 提案されたDGAEモデルは、リンク予測において優れた性能を達成し、複数のデータセットにおいてAUCおよび平均精度（AP）が、標準的な浅いGAEを常に上回っている。
• Coraデータセットでは、36層のDGAE αβがシルエットスコア0.169およびNMI 0.482を達成し、36層のGAE（シルエット：-0.045、NMI：0.033）を著しく上回った。
• 72層にまで深くしても、AUCの低下が見られず、標準GAEが2層を超えると観察されるAUCの劣化を回避する。
• 理論的分析により、DGAEモデルが次数2からkまでの多項式フィルタを包括的に表現可能であることが確認され、マルチスケール特徴学習が可能であることが示された。
• t-SNEによる可視化では、DGAE αβが標準GAEよりもより分離され、意味のあるノード埋め込みを生成しており、より良い構造的表現が得られていることが示された。
• 標準AEとGAEを共同で使用した埋め込みにより、単独で使用する場合よりも、より効果的な低ランク部分空間学習が可能となった。