[論文レビュー] Graph Neural Networks Intersect Probabilistic Graphical Models: A Survey

Chenqing Hua, Sitao Luan+2 more|arXiv (Cornell University)|May 24, 2022

Advanced Graph Neural Networks被引用数 6

ひとこと要約

本調査は、グラフニューラルネットワーク（GNNs）と確率的グラフィカルモデル（PGMs）の相乗的統合を検討し、それぞれが互いにどのように向上させるかを示している：PGMsは構造的予測、解釈可能性、グラフ構造学習を通じてGNNsを改善するが、GNNsはPGMsの推論を高速化し、学習効率を向上させる。主な貢献は、両分野間のクロスポリネーションを促進する包括的なフレームワークであり、ベンチマークと今後の研究方向性が特定されている。

ABSTRACT

Graphs are a powerful data structure to represent relational data and are widely used to describe complex real-world data structures. Probabilistic Graphical Models (PGMs) have been well-developed in the past years to mathematically model real-world scenarios in compact graphical representations of distributions of variables. Graph Neural Networks (GNNs) are new inference methods developed in recent years and are attracting growing attention due to their effectiveness and flexibility in solving inference and learning problems over graph-structured data. These two powerful approaches have different advantages in capturing relations from observations and how they conduct message passing, and they can benefit each other in various tasks. In this survey, we broadly study the intersection of GNNs and PGMs. Specifically, we first discuss how GNNs can benefit from learning structured representations in PGMs, generate explainable predictions by PGMs, and how PGMs can infer object relationships. Then we discuss how GNNs are implemented in PGMs for more efficient inference and structure learning. In the end, we summarize the benchmark datasets used in recent studies and discuss promising future directions.

研究の動機と目的

• 確率的グラフィカルモデル（PGMs）が、構造的予測、解釈可能性、およびグラフ構造学習において、グラフニューラルネットワーク（GNNs）をどのように改善できるかを調査すること。
• GNNsが高度なメッセージスティンングメカニズムを通じて、推論の高速化と学習効率の向上によってPGMsをどのように強化できるかを検討すること。
• ノード分類、構造学習、正確な推論などのタスクにおけるGNN-PGM統合のためのベンチマークデータセットを特定および評価すること。
• 同型性、スケーラビリティ、解釈可能性の分野におけるオープンチャレンジに、ハイブリッドモデリングアプローチを提案することで対処すること。
• 今後の研究を導くために、大規模なデータセットと実世界の応用に適した解釈可能でホワイトボックス型のモデルを含む、主要な研究方向性を提示すること。

提案手法

• 標準的なGNNsの独立性仮定を克服するため、PGMsの条件付きランダムフィールド（CRFs）をGNNsに統合し、入力特徴と出力ラベルの間の依存関係をモデル化する。
• 白色ボックス型のグラフィカルモデルを提供するベイジアンネットワークやマルコフ確率的フィールドを用いて、GNN予測の後向き解釈を可能にする解釈可能性を提供する。
• 特徴の類似性と確率的ポテンシャル関数に基づいてエッジを推定することで、PGMsを活用してグラフ構造学習を実施し、入力グラフのノイズを低減する。
• 特にループや複雑なグラフにおいて、ループ付きベイズ推論（LBP）の効率と収束性を向上させるために、GNNのメッセージスティンングアルゴリズムを適応する。
• GNNの表現学習とPGMsの統計的解釈可能性を統合したハイブリッドアーキテクチャを提案し、共同推論と学習を実現する。
• 合成データおよび実世界のデータセット（Human3.6M、LDPC、20newsなど）を用いて、ノード分類、DAG学習、正確な推論タスクにおける性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 PGMsは、入力特徴と出力ラベルの間の依存関係を明示的にモデル化することで、どのようにGNNsの構造的予測を向上させることができるか？
• RQ2 解釈可能なグラフィカルモデルと後向き解釈技術を通じて、PGMsはGNN予測の解釈可能性をどのように向上させることができるか？
• RQ3 PGMsは、ノイズや不完全な入力データから、ノイズの少ない堅牢なグラフ構造をGNNsが学習するのをどのように支援できるか？
• RQ4 GNNsは、特にループ付きや複雑なグラフィカル構造において、PGMsの信念伝搬の推論を高速化し、効率を向上させることができるか？
• RQ5 同型性のレベルが異なる多様な大規模実世界グラフに、GNN-PGM統合をスケーリングする際の主な課題と機会は何か？

主な発見

• PGMsは、入力特徴とラベルの間の依存関係を明示的にモデル化するCRFsを用いることで、GNNsに構造的予測を可能にし、独立性仮定に基づく予測より性能が向上する。
• PGMsは、深層学習モデルのブラックボックス性を解消する白箱型で解釈可能な解釈を提供し、人間が理解可能な予測の解釈を可能にする。
• PGMベースのグラフ構造学習は、特徴の類似性と確率的ポテンシャルに基づいて意味のあるエッジを効果的に推定し、ノイズを低減してGNNの下流性能を向上させる。
• GNNsは、特にループ付きグラフにおいて、遅いループ付き信念伝搬（LBP）の代わりに効率的で学習可能なメッセージスティングメカニズムを採用することで、PGMsの推論を顕著に高速化する。
• 現在の解釈可能性、構造学習、正確な推論のベンチマークは規模と多様性に欠けており、より大規模かつ代表的な実世界データセットの必要性が浮き彫りになっている。
• 実世界のグラフでは同型性仮定がしばしば成立しないが、PGMsを用いることで特徴とラベルから同型的近傍を推定でき、非同型グラフにおけるGNNの一般化性能が向上する。