[論文レビュー] CommPOOL: An Interpretable Graph Pooling Framework for Hierarchical Graph Representation Learning

Haoteng Tang, Guixiang Ma+3 more|arXiv (Cornell University)|Dec 10, 2020

Advanced Graph Neural Networks参考文献 56被引用数 4

ひとこと要約

本稿では、PAMクラスタリングを用いた教師なしコミュニティ検出により、グラフ内の階層的コミュニティ構造を捉え、それを保持する、解釈可能なグラフプーリングフレームワークであるCommPOOLを提案する。コミュニティのメドイドに基づいてノードをプールし、構造的および特徴情報の集約を行うことで、5つのベンチマークデータセットおよび1つの合成データセットにおいて、グラフ分類タスクで最先端の性能を達成するとともに、透明で人間が解釈可能なプーリング操作を実現する。

ABSTRACT

Recent years have witnessed the emergence and flourishing of hierarchical graph pooling neural networks (HGPNNs) which are effective graph representation learning approaches for graph level tasks such as graph classification. However, current HGPNNs do not take full advantage of the graph's intrinsic structures (e.g., community structure). Moreover, the pooling operations in existing HGPNNs are difficult to be interpreted. In this paper, we propose a new interpretable graph pooling framework - CommPOOL, that can capture and preserve the hierarchical community structure of graphs in the graph representation learning process. Specifically, the proposed community pooling mechanism in CommPOOL utilizes an unsupervised approach for capturing the inherent community structure of graphs in an interpretable manner. CommPOOL is a general and flexible framework for hierarchical graph representation learning that can further facilitate various graph-level tasks. Evaluations on five public benchmark datasets and one synthetic dataset demonstrate the superior performance of CommPOOL in graph representation learning for graph classification compared to the state-of-the-art baseline methods, and its effectiveness in capturing and preserving the community structure of graphs.

研究の動機と目的

• 既存の階層的グラフプーリングネットワーク（HGPNNs）における解釈性の欠如、特にプーリング操作の方法についての課題に取り組む。
• 標準的なGNNsではしばしば無視されるが、グラフ表現学習中にグラフの内在的な階層的コミュニティ構造を保持する。
• グラフ分類タスクにおける性能を向上させるための汎用的で柔軟かつ解釈可能なフレームワークを構築する。
• コミュニティ構造がグラフ分類において重要な要因であることを示すために、コミュニティベースのプーリングと準ランダムプーリングを比較する。

提案手法

• CommPOOLは、ノード特徴の類似度に基づいて自然なコミュニティを特定するため、Partitioning Around Medoids（PAM）を用いた教師なしコミュニティ検出法を採用する。
• 検出された各コミュニティのメドイドノードを代表ノードとして選択することで、階層的プーリングを実行する。
• コミュニティに属する全ノードの特徴および構造的情報を、メドイドノードに集約することで、局所的およびコミュニティレベルの表現を保持する。
• プーリングプロセスは本質的に解釈可能である。なぜなら、コミュニティ構造が明示的に検出され、可視化可能であるため、ユーザーがノードがどのようにグループ化され、ダウンサンプリングされたかを追跡できるからである。
• 局所的ノード特徴と階層的コミュニティレベル表現の両方を同時に学習するGNNベースのアーキテクチャに統合される。
• 複数のプーリング層を備えたGNNバックボーンを用いて評価され、グラフ分類のエンドツーエンド学習が可能となる。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、効果的かつ解釈可能な方法でグラフの階層的構造を捉え、保持できるか？
• RQ2 コミュニティベースのプーリングは、コミュニティに依存しないプーリング戦略に比べて、グラフ分類性能を向上させることができるか？
• RQ3 真のコミュニティ構造を保持することの影響が、モデルの性能およびロバストネスにどの程度及ぶか？
• RQ4 プーリング操作は透明で解釈可能であり、ユーザーがどのノードがグループ化され、なぜそうされたかを理解できるか？

主な発見

• CommPOOLは5つの公開グラフ分類ベンチマークで最先端の性能を達成し、既存のSOTA手法を上回る。
• PROTEINSデータセットでは74.74%の正解率を達成し、準ランダムプーリングベースラインの64.90%を著しく上回った。
• BZRデータセットでは86.00%の正解率を達成したが、準ランダムプーリングでは81.50%にとどまり、適切なコミュニティ構造の保持の重要性を示した。
• 合成シミュレーションデータセットでは、CommPOOLが80.14%の正解率を達成したのに対し、準ランダムプーリングでは70.34%であった。これにより、コミュニティ構造の役割がさらに裏付けられた。
• 可視化結果から、CommPOOLが意味のあるコミュニティ構造を効果的に捉えていることが確認された。一方、コミュニティが適切に定義されていない場合、誤分類が発生した。
• アブレーションスタディの結果、準ランダム分割ですら一部の階層的構造を維持している場合でも、コミュニティベースのプーリングがはるかに有効であることが示された。