[論文レビュー] Hierarchical Bipartite Graph Convolution Networks

Marcel Nassar|arXiv (Cornell University)|Nov 17, 2018

Advanced Graph Neural Networks参考文献 6被引用数 4

ひとこと要約

本稿では、入力ノード集合と出力ノード集合を分離することで、グラフ畳み込みを一般化する階層的双方向グラフ畳み込みネットワーク、BiGraphNetを提案する。これにより、粗粒度畳み込み、グラフ拡張、マルチグラフ集約といった効率的な操作が可能になる。ModelNet10およびMNISTベンチマークにおいて、計算量とメモリ使用量を削減しつつ、最先端の性能を達成している。

ABSTRACT

Recently, graph neural networks have been adopted in a wide variety of applications ranging from relational representations to modeling irregular data domains such as point clouds and social graphs. However, the space of graph neural network architectures remains highly fragmented impeding the development of optimized implementations similar to what is available for convolutional neural networks. In this work, we present BiGraphNet, a graph neural network architecture that generalizes many popular graph neural network models and enables new efficient operations similar to those supported by ConvNets. By explicitly separating the input and output nodes, BiGraphNet: (i) generalizes the graph convolution to support new efficient operations such as coarsened graph convolutions (similar to strided convolution in convnets), multiple input graphs convolution and graph expansions (unpooling) which can be used to implement various graph architectures such as graph autoencoders, and graph residual nets; and (ii) accelerates and scales the computations and memory requirements in hierarchical networks by performing computations only at specified output nodes.

研究の動機と目的

• グラフニューラルネットワーク（GNN）アーキテクチャにおける断片化を解消し、多様なGNNモデルを一つの汎用的フレームワークに統一すること。
• 入力ノードと出力ノードを明示的に分離することで、畳み込みネットワーク（ConvNet）に類似した操作（例：ストライド畳み込み、アンプーリング、スキップ接続）をGNNで効率的に行えるようにすること。
• すべての入力ノードではなく出力ノードでのみ計算を行うことで、階層的GNNにおける計算およびメモリのオーバーヘッドを低減すること。
• マルチグラフ集約と構造的なグラフ変換を通じて、グラフオートエンコーダーやリーマンスネットワークのような新しいアーキテクチャをサポートすること。

提案手法

• 入力ノード集合と出力ノード集合が異なる双方向グラフ畳み込み演算子を提案し、柔軟なグラフ変換を可能にする。
• 隣接ノード特徴量に対して、エッジラベルまたはノード特徴量に条件付けられた学習可能カーネルで重み付けされた集約（例：合計、平均、最大）を実行する。
• 関係性学習のためのエッジ条件付きおよびアテンションベースのカーネルを導入し、新規のエッジ条件付きアテンション機構を提案する。
• クラスタリングによるグラフ粗粒度化とアンプーリングによるグラフ拡張を実装し、畳み込みニューラルネットワーク（ConvNet）におけるストライド畳み込みおよび転置畳み込みを模倣する。
• 複数の入力グラフで同じ出力ノード集合を共有することでマルチグラフ集約を実現し、スキップ接続と特徴量統合を可能にする。
• 計算を出力ノードに限定することで、計算量をO(|V_o|)に低減し、階層的設定におけるスケーラビリティを著しく向上させる。

実験結果

リサーチクエスチョン

• RQ1 統一されたグラフ畳み込みフレームワークは、多様なGNNモデルを一般化し、粗粒度化や拡張といった新しい操作を可能にするか？
• RQ2 双方向グラフ畳み込みは、グラフ構造データにおいて、畳み込みニューラルネットワーク（ConvNet）のキーパターン（例：ストライド畳み込み、アンプーリング）をどのように模倣できるか？
• RQ3 共有出力ノードを用いたマルチグラフ集約は、グラフオートエンコーダーにおけるスキップ接続を効果的に実装できるか？
• RQ4 提案されたBiGraphNetアーキテクチャは、点群分類および画像分類タスクにおいて、既存のGNNよりも優れた性能と効率性を達成できるか？

主な発見

• ModelNet10ベンチマークにおいて、BiGraphNetは92.95％の精度を達成し、ECCモデル（89.3％）を上回り、同じデータセットで報告された最高の結果（98.46％）に近づいた。
• MNIST-as-graphベンチマークでは、20エポック後に97.71％の精度を達成し、平均プーリングを用いたECCバージョン（97.59％）をわずかに上回り、最大プーリングECC（99.05％）にも近づいた。
• スキップ接続を備えたBiGraphNetを用いたグラフオートエンコーダーは、テストMSEが0.066を記録し、MLP（0.088）、ConvNet（0.094）、標準的なグラフオートエンコーダー（0.086）を著しく上回った。
• 計算量を出力ノードに限定することで、O(|V_o|)に低減され、階層的GNNにおいてメモリと速度の大幅な向上が実現した。
• 別々のプーリングレイヤーを必要とせず、グラフ粗粒度化、拡張、マルチグラフ集約といったプラグアンドプレイ可能な操作をサポートする。
• 標準的なグラフ畳み込みを一般化でき、構造的な双方向グラフ設計により、リーマンスネットワークやオートエンコーダーの実装が可能になった。