[論文レビュー] Graph U-Nets

Hongyang Gao, Shuiwang Ji|arXiv (Cornell University)|May 11, 2019

Advanced Graph Neural Networks参考文献 46被引用数 213

ひとこと要約

この論文では、学習可能なグラフプーリング（gPool）およびアンプーリング（gUnpool）操作を活用して、グラフ上のU-Netスタイルの特徴抽出を可能にする、グラフ表現学習のための新規なエンコーダデコーダアーキテクチャ「Graph U-Nets」を提案する。ダウンサンプリング時に重要なノードを適応的に選択し、アップサンプリング時にそれらを再構築することで、ノード分類およびグラフ分類のベンチマークで最先端の性能を達成する。

ABSTRACT

We consider the problem of representation learning for graph data. Convolutional neural networks can naturally operate on images, but have significant challenges in dealing with graph data. Given images are special cases of graphs with nodes lie on 2D lattices, graph embedding tasks have a natural correspondence with image pixel-wise prediction tasks such as segmentation. While encoder-decoder architectures like U-Nets have been successfully applied on many image pixel-wise prediction tasks, similar methods are lacking for graph data. This is due to the fact that pooling and up-sampling operations are not natural on graph data. To address these challenges, we propose novel graph pooling (gPool) and unpooling (gUnpool) operations in this work. The gPool layer adaptively selects some nodes to form a smaller graph based on their scalar projection values on a trainable projection vector. We further propose the gUnpool layer as the inverse operation of the gPool layer. The gUnpool layer restores the graph into its original structure using the position information of nodes selected in the corresponding gPool layer. Based on our proposed gPool and gUnpool layers, we develop an encoder-decoder model on graph, known as the graph U-Nets. Our experimental results on node classification and graph classification tasks demonstrate that our methods achieve consistently better performance than previous models.

研究の動機と目的

• コンピュータビジョンにおけるU-Netと同様の効果的なエンコーダデコーダアーキテクチャが、グラフデータに対して不足している問題に対処すること。
• 非ラティス構造のグラフ構造に対して、プーリングおよびアップサンプリング操作を自然に適用する課題を克服すること。
• グラフのダウンサンプリングおよび再構築の過程で構造的および特徴的情報を保持する、微分可能で学習可能な操作を開発すること。
• グラフ上のピxls単位およびノード単位の予測タスクに対して、エンドツーエンドの学習を可能にする。
• 構造的な階層的特徴抽出を通じて、グラフレベルおよびノードレベルの分類タスクにおける性能を向上させること。

提案手法

• ノードのスカラープrojectionを、学習可能なプロジェクションベクトルに沿って行い、そのサブセットを選択する微分可能グラフプーリング層「gPool」を提案する。
• 対応するgPool操作で選択されたノードの位置情報を用いて、グラフ構造を復元する微分可能なアンプーリング操作「gUnpool」を採用する。
• gPool層がグラフをダウンサンプリングし、gUnpool層がそれをアップサンプリングするエンコーダデコーダアーキテクチャを設計し、画像セグメンテーションにおけるU-Netと同様のスキップ接続を実現する。
• gPoolにおける学習可能なプロジェクションベクトルを用いて、圧縮過程で構造的情報を保持する重要なノードを動的に同定する。
• gPoolおよびgUnpoolをU-Netに類似したアーキテクチャに統合し、複数のグラフスケールにわたる階層的表現を捉える。
• 微分可能なプーリングおよびアンプーリング操作を通じて、バックプロパゲーションを用いたエンドツーエンドの学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 学習可能なプーリングおよびアンプーリング操作を用いることで、U-Netスタイルのアーキテクチャをグラフ構造データに効果的に適応できるか？
• RQ2 グラフプーリングを微分可能かつ構造的に注意を向けた形にすることで、ダウンサンプリング過程で重要な情報を保持できるか？
• RQ3 プーリングの逆操作（アンプーリング）は、ノードの位置情報に基づいて元のグラフ構造を正確に再構築できるか？
• RQ4 提案されたGraph U-Netアーキテクチャは、既存のGNNモデルよりもノード分類およびグラフ分類タスクで優れた性能を示すか？
• RQ5 スキップ接続および階層的特徴抽出の効果は、グラフ表現学習の性能向上にどの程度寄与するか？

主な発見

• Graph U-Netsは、ノード分類およびグラフ分類タスクの両方で、先行モデルよりも一貫して優れた性能を達成する。
• 提案されたgPoolおよびgUnpool操作により、画像セグメンテーションにおけるU-Netと同様に、グラフデータ上の効果的な階層的特徴抽出が可能になる。
• エンコーダとデコーダ層の間のスキップ接続を活用することで、微細な構造的および特徴的情報を保持する。
• gPoolおよびgUnpoolの微分可能特性により、全アーキテクチャのエンドツーエンド学習が可能になる。
• 性能向上の要因は、gPoolが顕著なノードに注目できることと、gUnpoolがそれらを正確に再構築できることに起因する。
• 実験的結果により、Graph U-Netsが標準的なグラフベンチマークデータセットで既存のベースラインを上回ることが示された。