[論文レビュー] iPool -- Information-based Pooling in Hierarchical Graph Neural Networks

Xing Gao, Hongkai Xiong+1 more|arXiv (Cornell University)|Jul 1, 2019

Advanced Graph Neural Networks参考文献 30被引用数 12

ひとこと要約

本稿では、階層的グラフニューラルネットワーク向けに、パラメータフリーで情報に基づくプーリング演算子iPoolを提案する。iPoolは、グラフ構造と信号コンテンツを保持するために、近傍情報利得に基づいてノードを選択する。条件付きエントロピーを用いてノードの情報量をモデル化し、局所的予測を用いることで、収束が早く、同型性不変性を満たす最先端の性能を達成する。

ABSTRACT

With the advent of data science, the analysis of network or graph data has become a very timely research problem. A variety of recent works have been proposed to generalize neural networks to graphs, either from a spectral graph theory or a spatial perspective. The majority of these works however focus on adapting the convolution operator to graph representation. At the same time, the pooling operator also plays an important role in distilling multiscale and hierarchical representations but it has been mostly overlooked so far. In this paper, we propose a parameter-free pooling operator, called iPool, that permits to retain the most informative features in arbitrary graphs. With the argument that informative nodes dominantly characterize graph signals, we propose a criterion to evaluate the amount of information of each node given its neighbors, and theoretically demonstrate its relationship to neighborhood conditional entropy. This new criterion determines how nodes are selected and coarsened graphs are constructed in the pooling layer. The resulting hierarchical structure yields an effective isomorphism-invariant representation of networked data in arbitrary topologies. The proposed strategy is evaluated in terms of graph classification on a collection of public graph datasets, including bioinformatics and social networks, and achieves state-of-the-art performance on most of the datasets.

研究の動機と目的

• 階層的表現を効果的に要約できる、効果的で一般化可能なプーリング演算子の欠如に取り組む。
• 任意のグラフトポロジーにおいて、構造的および信号ベースの情報を両方保持するプーリング機構を設計する。
• 再トレーニングを必要とせず、多様なグラフ構造に適応可能な、パラメータフリーで同型性不変のプーリング戦略を開発する。
• 情報理論的ノード選択に基づくグラフの粗化を通じて、有効なマルチスケール表現学習を可能にする。

提案手法

• ノードの近傍情報利得を定量化するための近傍情報利得基準γ(v)を導入し、条件付きエントロピーに基づいてノードが近傍から提供する情報量を測定する。
• kホップ近傍を用いて、近傍の信号からノード信号を予測する定式化を行い、情報利得の局所的計算を可能にする。
• γ(v)値が大きいノードがより情報量が多いと判断され、粗化のためのノード選択に用いられる。
• 選択されたノードの特徴を集約することで、元のグラフとトポロジカルに一貫性を保った粗化グラフを構築する。
• グローバルおよびローカルの両方のプーリング戦略をサポートしており、構造の保持と情報集約の間でトレードオフを実現できる。
• プーリング操作はパラメータフリーであり、グラフ同型性に対して不変であるため、同型なグラフ間で一貫した表現が保証される。

実験結果

リサーチクエスチョン

• RQ1 ノードの近傍が与えられたとき、そのノードが持つ情報量をどのように定義・定量化できるか。
• RQ2 構造的および信号ベースの情報を保持しつつ、パラメータフリーな戦略でグラフを粗化する効果的な方法は何か。
• RQ3 情報理論的プーリング機構は、従来のプーリング手法を上回る性能を発揮できるか。
• RQ4 近傍の深さ（k）の選択が、プーリング操作の性能にどのように影響するか。
• RQ5 提案されたプーリング戦略は、階層的GNNにおける収束性および一般化性能をどの程度向上させるか。

主な発見

• iPoolは、10個の公開グラフ分類データセットのうち9つで最先端の性能を達成し、GNNベースおよびカーネルベースの手法を上回った。
• ローカルプーリング戦略は、多様な近傍からのノード選択により局所的グラフ構造をよりよく保持するため、グローバル戦略を常に上回った。
• SET2SETおよびDIFFPOOLと比較して、収束が著しく速く、トレーニング速度ではSET2SETの7倍、DIFFPOOLの1.1倍速かった。
• アブレーションスタディの結果、iPoolは分類精度を向上させるとともに、特に複数のプーリング層を含む深層アーキテクチャにおいて収束を加速することがわかった。
• 予測関数における最適なホップ数（k）は、グラフの密度と相関しており、スパースなグラフでは最良のパフォーマンスを得るためには大きなkが必要だった。
• REDDIT-MULTI-12Kデータセットでは、iPool-2がiPool-1をわずかに下回ったが、これは過剰な粗化と単純化されたノード信号による過学習の可能性がある。