[論文レビュー] Factor Graph Neural Networks

Zhen Zhang, Dupty, Mohammed Haroon+3 more|arXiv (Cornell University)|Aug 2, 2023

Advanced Graph Neural Networks被引用数 18

ひとこと要約

本論文は、高階因子グラフ上の低ランクのSum-Productルーピー信念伝搬をニューラル化することにより、Factor Graph Neural Networks (FGNNs)を導入し、エンドツーエンドの学習を可能にするとともに、単一のアーキテクチャ内でSum-Product推論とMax-Product推論の両方を表現できるようにする。

ABSTRACT

In recent years, we have witnessed a surge of Graph Neural Networks (GNNs), most of which can learn powerful representations in an end-to-end fashion with great success in many real-world applications. They have resemblance to Probabilistic Graphical Models (PGMs), but break free from some limitations of PGMs. By aiming to provide expressive methods for representation learning instead of computing marginals or most likely configurations, GNNs provide flexibility in the choice of information flowing rules while maintaining good performance. Despite their success and inspirations, they lack efficient ways to represent and learn higher-order relations among variables/nodes. More expressive higher-order GNNs which operate on k-tuples of nodes need increased computational resources in order to process higher-order tensors. We propose Factor Graph Neural Networks (FGNNs) to effectively capture higher-order relations for inference and learning. To do so, we first derive an efficient approximate Sum-Product loopy belief propagation inference algorithm for discrete higher-order PGMs. We then neuralize the novel message passing scheme into a Factor Graph Neural Network (FGNN) module by allowing richer representations of the message update rules; this facilitates both efficient inference and powerful end-to-end learning. We further show that with a suitable choice of message aggregation operators, our FGNN is also able to represent Max-Product belief propagation, providing a single family of architecture that can represent both Max and Sum-Product loopy belief propagation. Our extensive experimental evaluation on synthetic as well as real datasets demonstrates the potential of the proposed model.

研究の動機と目的

• ペアワイズGNNを超える高階依存性による学習の動機づけと、因子グラフ構造を活用したより豊かな表現の獲得。
• 低ランクテンソル分解を用いた離散的な高階PGMに対する効率的な近似推論アルゴリズムの導出。
• 推論プロセスをニューロン化してエンドツーエンドで訓練可能なFGNNアーキテクチャを作成。
• 適切なアグリゲータの下でFGNNがSum-ProductとMax-Productの信念伝搬を両方表現できることを示す。
• 合成PGM推論、LDPCデコード、グラフマッチング、および手書き認識、人間の動作、分子特性予測などの実世界タスクにおけるFGNNの実用的有効性を示す。

提案手法

• 高階因子を低ランクのCPテンソル分解で表現し、メッセージ更新を効率化する。
• メッセージを潜在ベクトルとして解釈し、単純積以外の柔軟なアグリゲータを許容することで、ルーピー信念伝搬をニューラルネットワークとして展開する。
• Variable-to-FactorおよびFactor-to-Variableモジュールを用いて、因子グラフ全体に情報を伝播するFGNN層を形成する。
• 安定性と表現力のために、集約関数（MLPベースの集合関数を含む）をHadamard積の代わりに許容する。
• 適切なアグリゲータを選択することでSum-ProductとMax-Productの切替えが可能であることを理論的に示す。）

実験結果

リサーチクエスチョン

• RQ1 FGNNは低ランクテンソル因子分解を用いた離散的な高階因子グラフで効率的に推論を行えるか？
• RQ2 FGNNは単一のアーキテクチャ内でSum-ProductとMax-Productの信念伝搬を統一できるか？
• RQ3 高階LBPをニューラル化することは、高階依存性の恩恵を受けるタスクにおいてエンドツーエンド学習と一般化を改善するか？
• RQ4 合成データと実データセットで、従来のグラフィカルモデル推論、標準的なGNN、k次のGNNと比較してFGNNはどう性能か？
• RQ5 FGNNは大規模な分子データセットやグラフマッチング・人間の動作予測などの複雑な構造タスクにスケーラブルか？

主な発見

• FGNNは因子あたりの変数数に対して線形の計算量で、2回のメッセージ更新を実現する効率的な手法を提供する。
• 適切なアグリゲータを選択することでMax-Product信念伝搬を表現でき、FGNN内でSum-ProductとMax-Productを統一する。
• 実験は、FGNNが特定のノイズ条件下で標準LDPCデコードを上回り、グラフマッチングでグラフィカルモデル推論と標準GNNを凌駕することを示している。
• FGNNは人間の動作予測で最先端の結果を達成し、QM9およびAlchemy分子データセットでは他のk-order GNNを著しく上回る。
• このアーキテクチャは高階依存性と動的型付けまたは条件付き因子をサポートしており、柔軟なグラフ仕様を可能にする。
• 経験的アブレーションは、高階因子に対する低ランク仮定の実用的有用性を支持する。