[論文レビュー] A Flexible Generative Framework for Graph-based Semi-supervised Learning

Jiaqi Ma, Weijing Tang+2 more|arXiv (Cornell University)|May 26, 2019

Advanced Graph Neural Networks被引用数 24

ひとこと要約

この論文は、確率的グラフィカルモデルを用いて、ノード特徴量、ラベル、グラフ構造の同時分布をモデル化する、柔軟な生成的フレームワークを提案する。スケーラブルな変分推論とネットワーク科学におけるランダムグラフモデルの知見を活用することで、ベンチマークデータセット上で最先端のモデルを上回る性能を示し、特徴量、ラベル、構造的依存関係のより良い統合を通じて、ラベル予測の正確性が向上することを示している。

ABSTRACT

We consider a family of problems that are concerned about making predictions for the majority of unlabeled, graph-structured data samples based on a small proportion of labeled samples. Relational information among the data samples, often encoded in the graph/network structure, is shown to be helpful for these semi-supervised learning tasks. However, conventional graph-based regularization methods and recent graph neural networks do not fully leverage the interrelations between the features, the graph, and the labels. In this work, we propose a flexible generative framework for graph-based semi-supervised learning, which approaches the joint distribution of the node features, labels, and the graph structure. Borrowing insights from random graph models in network science literature, this joint distribution can be instantiated using various distribution families. For the inference of missing labels, we exploit recent advances of scalable variational inference techniques to approximate the Bayesian posterior. We conduct thorough experiments on benchmark datasets for graph-based semi-supervised learning. Results show that the proposed methods outperform state-of-the-art models under most settings.

研究の動機と目的

• グラフ構造データにおいて、少量のラベル付き例でのみ、多数のラベルなしノードのラベルを予測するという課題に対処すること。
• 従来のグラフ正則化法や最近のGNNが、特徴量、ラベル、グラフ構造の間の相互関係を十分に活用できないという限界を克服すること。
• 特徴量、ラベル、グラフトポロジーの同時分布を柔軟かつスケーラブルな方法でモデル化する統一された確率的フレームワークを構築すること。
• ベイズ的原則に基づいたスケーラブルな変分推論技術を用いて、欠落したラベルの効果的な推論を可能にすること。
• 提案されたフレームワークが、多様なグラフベースの半教師付き学習ベンチマークにおいて、既存の最先端モデルを上回ることを示すこと。

提案手法

• フレームワークは、ネットワーク科学におけるランダムグラフモデルにインspiredされた確率的グラフィカルモデルを用いて、ノード特徴量、ラベル、グラフ構造の同時分布をモデル化する。
• さまざまな分布族へのインスタンス化を可能とし、グラフ内の異なる種類の関係的および特徴的依存関係のモデル化における柔軟性を提供する。
• 観測された特徴量とグラフ構造に基づくラベルの事後分布を近似するために、スケーラブルな変分推論が用いられる。
• 生成モデルのパラメータと変分近似の両方を同時に最適化することで、エンドツーエンドの学習が可能になる。
• ノードとその属性の全同時分布をモデル化することにより、推論的（transductive）およびインダクティブ（inductive）な学習設定の両方をサポートする。
• グラフの関係的構造を正則化子としてだけでなく、ラベルと特徴量の生成プロセスのコアな要素としても活用する。

実験結果

リサーチクエスチョン

• RQ1 特徴量、ラベル、グラフ構造を同時に捉える統一された生成モデルが、判別的GNNや従来のグラフ正則化法を上回ることができるか？
• RQ2 複雑で高次元のグラフ構造的同時分布におけるラベルの事後分布を近似するために、スケーラブルな変分推論がどの程度効果的に適用可能か？
• RQ3 全同時分布をモデル化することで、ラベルデータが少ない状況での一般化性能とロバストネスがどの程度向上するか？
• RQ4 異なる分布族の選択の柔軟性が、多様なグラフデータセットにおける性能にどのように影響を与えるか？
• RQ5 提案されたフレームワークが、推論的およびインダクティブな学習設定の両方で強力な性能を維持できるか？

主な発見

• 提案されたフレームワークは、複数のベンチマークグラフベースの半教師付き学習データセットで最先端の性能を達成した。
• ほとんどの実験設定において、既存の最先端モデルを一貫して上回ったが、特にラベルデータが少ない状況で顕著な優位性を示した。
• 特徴量、ラベル、グラフ構造の統合的モデリングが、よりロバストで正確なラベル予測を実現した。
• スケーラブルな変分推論により、効果的かつ効率的な事後分布近似が可能となり、大規模グラフへの実用性が確保された。
• 異なる分布族の選択におけるフレームワークの柔軟性により、多様なデータ特性やグラフタイプに適応可能となった。
• 実証的結果から、特徴量、ラベル、構造を独立または弱い結合で扱う手法と比較して、同時分布のモデル化が顕著な性能向上をもたらすことが示された。