[論文レビュー] Structural Entropy Guided Graph Hierarchical Pooling

Junran Wu, Xueyuan Chen+2 more|arXiv (Cornell University)|Jun 26, 2022

Advanced Graph Neural Networks被引用数 21

ひとこと要約

SEPは構造エントロピーに基づくグローバル最適化型階層プーリング演算子を導入し、グラフプーリングにおける局所構造の破損と固定圧縮定額を解決し、グラフおよびノード分類性能で優れた結果を示す。

ABSTRACT

Following the success of convolution on non-Euclidean space, the corresponding pooling approaches have also been validated on various tasks regarding graphs. However, because of the fixed compression quota and stepwise pooling design, these hierarchical pooling methods still suffer from local structure damage and suboptimal problem. In this work, inspired by structural entropy, we propose a hierarchical pooling approach, SEP, to tackle the two issues. Specifically, without assigning the layer-specific compression quota, a global optimization algorithm is designed to generate the cluster assignment matrices for pooling at once. Then, we present an illustration of the local structure damage from previous methods in the reconstruction of ring and grid synthetic graphs. In addition to SEP, we further design two classification models, SEP-G and SEP-N for graph classification and node classification, respectively. The results show that SEP outperforms state-of-the-art graph pooling methods on graph classification benchmarks and obtains superior performance on node classifications.

研究の動機と目的

• 既存の階層グラフプーリング手法の限界を特定する（局所構造の破損と固定圧縮定額）。
• 構造エントロニーに導かれたグローバルに最適化されたプーリング方式を開発し、グラフ構造を保持する。
• グラフ再構成、グラフ分類、およびノード分類タスクにおけるSEPの有効性を実証する。

提案手法

• 階層ごとのクォータを用意せず、固定の高さを持つコーディングツリーを生み出す構造エントロピー最小化アルゴリズムを介してクラスタ割り当てを定義する。
• A_{i+1}=S_i A_i S_i^T および P_{i+1}=S_i H_i によるプーリングを計算し、粗いグラフと特徴を得る。
• SEPをGCNベースのアーキテクチャと統合し、グラフ分類モデル SEP-G を形成する。
• SEPベースのプーリングとアンプーリングを用いたエンコーダ-デコーダアーキテクチャ SEP-N を開発し、ノード分類に適用する。
• ノードの再ラベリングに対してSEPの置換不変性を証明する。
• 構造エントロピーから高さ k のコーディングツリーを構築する貪欲アルゴリズム（Algorithm 1）を提供する。

実験結果

リサーチクエスチョン

• RQ1 構造エントロピーは階層グラフプーリングのグローバルに最適化されたクォーターフリー機構を提供できるか？
• RQ2 プーリング時にSEPは既存の手法と比較して局所的なグラフ構造をより良く保持するか？
• RQ3 SEPベースのモデルは、最新のプーリング手法とバックボーンと比較して、グラフ分類およびノード分類のベンチマークでどのように性能を発揮するか？

主な発見

• SEPはグラフ分類ベンチマークで最先端と競合する性能を達成し、ソーシャルネットワークデータセットで顕著な向上を示す。
• SEP-Gは複数のデータセットでベースラインバックボーン（GCN、GIN、GAT など）を一貫して上回る。
• SEP-Nはノード分類で競争力のある結果を示し、多くの設定でCora、Pubmed、Citeseerのいくつかのベースラインを上回る。
• グラフ再構成の実験は、SEPがノードドロップや一部のクラスタリングベースのプーリング手法よりも重要な構造情報をより良く保持することを示している。
• 提案された構造エントロニーによるクラスタリングは、先行手法で観察された局所構造の破損を最小化する。