[論文レビュー] Non-Parametric Graph Learning for Bayesian Graph Neural Networks

Soumyasundar Pal, Saber Malekmohammadi+4 more|arXiv (Cornell University)|Jun 23, 2020

Advanced Graph Neural Networks参考文献 44被引用数 6

ひとこと要約

本稿では、隣接行列を確率的変数としてモデル化し、タスク固有の距離尺度を用いてエッジ重みをガイドすることで、グラフ構造の不確実性を推論する非パrametricなベイズ的グラフ学習フレームワークを提案する。この手法は、ノイズや不完全なデータからのより正確なグラフの学習により、ノード分類、リンク予測、推薦の性能を向上させ、ベンチマークデータセットにおいて精度と再現率に顕著な向上を示すとともに、大規模グラフにも効率的にスケーリングする。

ABSTRACT

Graphs are ubiquitous in modelling relational structures. Recent endeavours in machine learning for graph-structured data have led to many architectures and learning algorithms. However, the graph used by these algorithms is often constructed based on inaccurate modelling assumptions and/or noisy data. As a result, it fails to represent the true relationships between nodes. A Bayesian framework which targets posterior inference of the graph by considering it as a random quantity can be beneficial. In this paper, we propose a novel non-parametric graph model for constructing the posterior distribution of graph adjacency matrices. The proposed model is flexible in the sense that it can effectively take into account the output of graph-based learning algorithms that target specific tasks. In addition, model inference scales well to large graphs. We demonstrate the advantages of this model in three different problem settings: node classification, link prediction and recommendation.

研究の動機と目的

• 観測されたグラフが完璧な表現であると仮定する従来のGNNの限界に対処すること。実際にはノイズや誤ったエッジが存在するにもかかわらず。
• グラフ構造を不確実なものとみなす柔軟な非パrametricなベイズフレームワークを構築し、隣接行列上の事後分布を学習すること。
• パラメトリックモデルにとらわれない汎用的でスケーラブルなグラフ推論を可能にし、既存のグラフ学習アルゴリズムと統合すること。
• ノード分類、リンク予測、推薦といった下流タスクの性能を、不確実性に配慮した学習によりグラフ構造を精緻化することで向上させること。

提案手法

• 本手法は、ノード間のペアワイズ距離に基づく非パrametricな事前分布を用いて、隣接行列を確率的変数としてモデル化し、近いノード同士に高いエッジ重みを割り当てる。
• 推薦などに適したタスク特化の距離尺度（例：コサイン距離）を用いてエッジ確率をガイドすることで、柔軟で応用に合わせたグラフ構築を可能にする。
• 変分近似を用いた推論手順により、隣接行列上の事後分布を近似し、大規模グラフ上でのスケーラブルな学習を実現する。
• 最終的なモデル学習の前に、高重量の誤った負例（false negatives）を削除する「ネガティブプールの最適化」により、既存のグラフ学習アルゴリズムと統合する。
• 教師あり（ノード分類）および教師なし（リンク予測、推薦）の両設定に適用可能であり、エンドツーエンドのベイズ訓練を実現する。
• 近似最近傍探索などの効率的なグラフ学習技術を活用することで、グラフ品質の向上を保ちながらもスケーラビリティを維持する。

実験結果

リサーチクエスチョン

• RQ1 制限的なパラメトリックな仮定に依存せずに、非パrametricなベイズフレームワークがグラフ構造の不確実性を効果的にモデル化できるか。
• RQ2 学習されたグラフの不確実性を組み込むことで、ノード分類、リンク予測、推薦タスクの性能がどのように向上するか。
• RQ3 タスク特化の距離尺度が、推定されたグラフ構造の質と関連性をどの程度向上できるか。
• RQ4 提案手法が、ベースラインと同等またはそれ以上の性能を維持しながら、大規模グラフに効果的にスケーリングできるか。
• RQ5 誤った負例エッジを同定・削除することで、implicitな推薦システムにおける過学習の低減と収束の改善が図れるか。

主な発見

• ノード分類において、提案されたベイズモデルは、特にデータが少ない状況下でベースラインを上回る高い精度を達成し、ラベル不足に対する耐性の向上を示した。
• リンク予測において、グラフ学習ステップを変分自己符号化器モデルに統合することで、より良い性能が得られ、不確実性に配慮したグラフ推論の価値を示した。
• 推薦タスクでは、ベイズモデル（BMGCCFおよびBNGCF）がベースラインモデル（MGCCFおよびNGCF）に対して顕著な再現率の向上を示し、BNGCFはAmazon-Booksデータセットで31.4%のRecall@20を達成した。
• ML-100Kデータセットでは、グラフ密度が高いため、本手法の効果が限定的であった。これは、本手法の利点が特にスパースまたはノイジーなグラフで顕著であることを示唆している。
• ML-100Kデータセットでは、テストセットの62.1%のエッジがネガティブ候補プールから削除された。これは、誤った負例を同定・削除する能力を確認するものである。
• トレーニング曲線から、ベイズ版（BMGCCF）は収束が早く、過学習が抑制されていることが確認され、最適化の安定性が向上していることが示された。