[論文レビュー] Factor Graph Neural Network

Zhen Zhang, Fan Wu+1 more|arXiv (Cornell University)|Jun 3, 2019

Advanced Graph Neural Networks参考文献 29被引用数 12

ひとこと要約

本稿では、要因グラフを用いて高次依存関係をモデル化する、新しい深層学習アーキテクチャである要因グラフニューラルネットワーク（FGNN）を提案する。変数から要因、および要因から変数へのメッセージスティンの構造により、FGNNは最大積信念伝搬（Max-Product Belief Propagation）を正確にパrameter化でき、3次元セマンティックセグメンテーションで最先端の性能を達成し、パーツセグメンテーションでも競争力のある結果を得た。

ABSTRACT

Most of the successful deep neural network architectures are structured, often consisting of elements like convolutional neural networks and gated recurrent neural networks. Recently, graph neural networks have been successfully applied to graph structured data such as point cloud and molecular data. These networks often only consider pairwise dependencies, as they operate on a graph structure. We generalize the graph neural network into a factor graph neural network (FGNN) in order to capture higher order dependencies. We show that FGNN is able to represent Max-Product Belief Propagation, an approximate inference algorithm on probabilistic graphical models; hence it is able to do well when Max-Product does well. Promising results on both synthetic and real datasets demonstrate the effectiveness of the proposed model.

研究の動機と目的

• 標準的なグラフニューラルネットワークが2項関係を超える高次依存関係をモデル化できないという限界に対処すること。
• 特に最大積信念伝搬を含む確率的グラフィカルモデル推論を、学習可能なニューラルアーキテクチャに統合すること。
• 従来の推論手法が失敗する状況でも、潜在表現とメッセージスティン規則の両方をデータからエンドツーエンドで学習可能にすること。
• 構造的制約を持つ合成および実世界の3次元ポイントクラウドデータセットにおいて、FGNNの有効性を実証すること。
• 要因グラフ構造を通じて、グラフニューラルネットワークと信念伝搬を統一的に一般化するフレームワークを提供すること。

提案手法

• 変数ノードと要因ノードからなる二部グラフとして要因グラフを定義し、要因が変数間の高次依存関係を表すようにする。
• メッセージの集約と伝搬を担う2つのコアモジュール、変数から要因（VF）と要因から変数（FV）のモジュールを設計し、それぞれに学習可能なパラメータを設ける。
• VFモジュールとFVモジュールを順次スタックすることでFGNNレイヤーを構築し、要因グラフ全体にわたる反復的メッセージスティンを可能にする。
• FGNNアーキテクチャが最大積信念伝搬アルゴリズムを正確に表現できることを示し、信念伝搬が成功する場合に最適な性能を発揮することを保証する。
• 3次元ポイントクラウドにk近傍要因構築法を適用し、各要因を1点とその近傍点で構成する。エッジ特徴量は座標差から導出する。
• Adam最適化法を用いてエンドツーエンドで学習を実行し、学習率の減少を適用。正則化のため残差接続とドロップアウトを統合する。

実験結果

リサーチクエスチョン

• RQ1 構造的データにおける2項関係を超える高次依存関係を捉えることができるニューラルネットワークアーキテクチャを設計できるか？
• RQ2 ニューラルネットワークが最大積信念伝搬のような近似推論アルゴリズムを模倣したり、それを改善したりできる程度はどの程度か？
• RQ3 提案されたFGNNアーキテクチャは、複雑な構造的制約を伴うタスクにおいて、既存のGNNやポイントクラウドモデルを上回る性能を示すか？
• RQ4 限られたアノテーションを伴う実世界の3次元ポイントクラウドデータセットにおいて、FGNNは効率的に実装・スケーリング可能か？
• RQ5 確率的グラフィカルモデルの意味論を深層学習フレームワークに統合することで、一般化性能とインダクティブバイアスがどのように向上するか？

主な発見

• S3DIS 3次元セマンティックセグメンテーションベンチマークにおいて、FGNNは平均交差率（IoU）60.0を達成し、PointNet、DGCNN、PointCNNを上回った。
• ShapeNetパーツデータセットでは、FGNNの平均IoUは84.7であり、PointNet（83.7）とDGCNN（85.1）を上回り、ほとんどのカテゴリでPointCNNと同等またはそれを上回った。
• S3DISでは全体の正確度が85.5%に達し、PointNet（53.2%）とDGCNN（84.1%）を著しく上回った。
• パーツセグメンテーションでは16カテゴリ中10カテゴリで最高のIoUを記録し、特に「ギター」カテゴリでは95.3%を達成し、PointCNNの92.3%を上回った。
• 特別な状況ではFGNNフレームワークを標準的なメッセージスティンGNNに変換可能であり、既存のMPNNフレームワークを介して効率的な実装が可能である。
• アブレーションスタディにより、要因グラフ構造とメッセージスティンメカニズムが、特に制約付きの合成タスクにおいて複雑な依存関係を捉える上で不可欠であることが確認された。