[論文レビュー] Hypergraph-enhanced Dual Semi-supervised Graph Classification

Wei Ju, Zhengyang Mao+7 more|arXiv (Cornell University)|May 8, 2024

Advanced Graph Neural Networks被引用数 8

ひとこと要約

HEALは学習可能なハイパーグラフ構造とリレーショナル・コンシステンシー学習を用いて、ラベル付きグラフが少なく、ラベルなしグラフが豊富な状況で半教師ありグラフ分類を行い、ラベリングされていないグラフを活用して高次の依存関係を捉える。複数のベンチマークで最先端の性能を達成。

ABSTRACT

In this paper, we study semi-supervised graph classification, which aims at accurately predicting the categories of graphs in scenarios with limited labeled graphs and abundant unlabeled graphs. Despite the promising capability of graph neural networks (GNNs), they typically require a large number of costly labeled graphs, while a wealth of unlabeled graphs fail to be effectively utilized. Moreover, GNNs are inherently limited to encoding local neighborhood information using message-passing mechanisms, thus lacking the ability to model higher-order dependencies among nodes. To tackle these challenges, we propose a Hypergraph-Enhanced DuAL framework named HEAL for semi-supervised graph classification, which captures graph semantics from the perspective of the hypergraph and the line graph, respectively. Specifically, to better explore the higher-order relationships among nodes, we design a hypergraph structure learning to adaptively learn complex node dependencies beyond pairwise relations. Meanwhile, based on the learned hypergraph, we introduce a line graph to capture the interaction between hyperedges, thereby better mining the underlying semantic structures. Finally, we develop a relational consistency learning to facilitate knowledge transfer between the two branches and provide better mutual guidance. Extensive experiments on real-world graph datasets verify the effectiveness of the proposed method against existing state-of-the-art methods.

研究の動機と目的

• ラベル付きグラフが乏しく、ラベルなしグラフが豊富な状況で半教師ありグラフ分類を動機づける。
• 学習可能なハイパーグラフを介して局所的近傍を超える高次ノード依存性を捉える。
• 学習されたハイパーエッジ上のライングラフを用いて高次サブ構造間の相互作用をモデル化する。
• リレーショナル・コンシステンシー学習を通じてハイパーグラフ部とライングラフ部の知識伝達を相互に実現する。
• 実世界データセット上で最先端のベースラインに対する頑健性と有効性を示す。

提案手法

• 低ランクのハイパーエッジ行列 Λ = H W (k 個のハイパーエッジ) を用いて高次ノード依存性を捉える学習可能なハイパーグラフ構造を導入する。
• ハイパーグラフ畳み込みを適用して高次ノード表現とグラフレベルの埋め込み s_G を得る。
• 学習済みハイパーグラフ上にライングラフを構築し、GNNエンコーダで第二のグラフレベル埋め込み t_G を得る。
• メモリバンクのアンカーグラフを用いてハイパーグラフとライングラフのビュー間の類似度分布を整合させるリレーショナル・コンシステンシー学習を提案する。
• ラベル付きグラフに対する監視損失と、ラベルなしグラフを正則化するリレーショナル・コンシステンシー損失で訓練する。

実験結果

リサーチクエスチョン

• RQ1 ハイパーグラフ構造を学習することは、グラフ分類の高次ノード相互作用のモデリングをどの程度改善するか。
• RQ2 learned hyperedges 上のライングラフは、ハイパーグラフビューを超えたエッジ間の相互作用と意味論を捉えられるか。
• RQ3 リレーショナル・コンシステンシー学習は、ラベルなしグラフを効果的に活用して半教師あり性能を向上させるか。
• RQ4 HEALの全体的な性能向上は、最先端の半教師ありグラフ分類手法と比較してどの程度か。

主な発見

Methods	PROTEINS	DD	IMDB-B	IMDB-M	REDDIT-M-5k	COLLAB
WL	63.5 ± 1.6	57.3 ± 1.2	58.1 ± 2.3	33.3 ± 1.4	37.0 ± 0.9	62.9 ± 0.7
Sub2Vec	52.7 ± 4.5	46.4 ± 3.2	44.9 ± 3.5	31.8 ± 2.7	35.1 ± 1.5	60.8 ± 1.4
Graph2Vec	63.1 ± 1.8	53.7 ± 1.6	61.2 ± 2.6	38.1 ± 2.2	38.1 ± 1.4	63.6 ± 0.9
EntMin	62.7 ± 2.7	59.8 ± 1.3	67.1 ± 3.7	37.4 ± 1.2	38.7 ± 2.8	63.8 ± 1.6
Mean-Teacher	64.3 ± 2.1	60.6 ± 1.8	66.4 ± 2.7	38.8 ± 3.6	39.2 ± 2.1	63.6 ± 1.4
VAT	64.1 ± 1.2	59.9 ± 2.6	67.2 ± 2.9	39.6 ± 1.4	38.9 ± 3.2	64.1 ± 1.1
InfoGraph	68.2 ± 0.7	67.5 ± 1.4	71.8 ± 2.3	42.3 ± 1.8	41.5 ± 1.7	65.7 ± 0.4
ASGN	67.7 ± 1.2	68.5 ± 0.6	70.6 ± 1.4	41.2 ± 1.4	42.2 ± 0.8	65.3 ± 0.8
GraphCL	69.4 ± 0.8	68.7 ± 1.2	71.2 ± 2.5	43.7 ± 1.3	42.3 ± 0.9	66.4 ± 0.6
JOAO	68.7 ± 0.9	67.9 ± 1.3	71.0 ± 1.9	42.6 ± 1.5	42.1 ± 1.2	65.8 ± 0.4
DualGraph	70.1 ± 1.2	69.8 ± 0.8	72.1 ± 0.7	44.8 ± 0.4	42.9 ± 1.4	67.2 ± 0.6
KGNN	70.9 ± 0.5	70.5 ± 0.6	72.5 ± 1.6	43.3 ± 0.7	44.8 ± 0.6	67.4 ± 0.5
TGNN	71.0 ± 0.7	70.8 ± 0.9	72.8 ± 1.7	42.9 ± 0.8	43.8 ± 1.0	67.7 ± 0.4
HEAL	73.4 ± 0.8	72.1 ± 0.9	73.5 ± 1.5	44.3 ± 0.6	45.9 ± 1.0	68.3 ± 0.5

• HEALは6つのベンチマークデータセットで複数の指標を上回り、いくつかのタスクで報告された最高スコアを達成した。
• アブレーション研究により、ハイパーグラフビューとライングラフビューをリレーショナル・コンシステンシーと組み合わせると最も高い性能を発揮することが示された。
• リレーショナル・コンシステンシー学習はラベルなしグラフを効果的に活用し、純粋な監視学習や単一ブランチ変種よりも頑健性と精度を向上させた。
• ハイパーパラメータ: 埋め込み次元 d=32 とハイパーエッジ数 k=32 は性能と効率の良いトレードオフを提供する。
• 実証的結果は、教師データが増えると性能が向上し、HEALはラベリング比率に関係なく利点を維持することを示している。
• 視覚化により、 learned hypergraph が局所的な結合を超えた高次相互作用を捉えていることが確認された。