[論文レビュー] Self-supervised Heterogeneous Graph Pre-training Based on Structural Clustering

Yaming Yang, Ziyu Guan+5 more|arXiv (Cornell University)|Oct 19, 2022

Advanced Graph Neural Networks被引用数 24

ひとこと要約

SHGP は、正例・負例を必要としない異種情報ネットワークの自己監督型事前学習フレームワークを提案し、デュアル Att-HGNN および Att-LPA の設定により、構造的クラスタリングを介して埋め込みを反復的に洗練させます。

ABSTRACT

Recent self-supervised pre-training methods on Heterogeneous Information Networks (HINs) have shown promising competitiveness over traditional semi-supervised Heterogeneous Graph Neural Networks (HGNNs). Unfortunately, their performance heavily depends on careful customization of various strategies for generating high-quality positive examples and negative examples, which notably limits their flexibility and generalization ability. In this work, we present SHGP, a novel Self-supervised Heterogeneous Graph Pre-training approach, which does not need to generate any positive examples or negative examples. It consists of two modules that share the same attention-aggregation scheme. In each iteration, the Att-LPA module produces pseudo-labels through structural clustering, which serve as the self-supervision signals to guide the Att-HGNN module to learn object embeddings and attention coefficients. The two modules can effectively utilize and enhance each other, promoting the model to learn discriminative embeddings. Extensive experiments on four real-world datasets demonstrate the superior effectiveness of SHGP against state-of-the-art unsupervised baselines and even semi-supervised baselines. We release our source code at: https://github.com/kepsail/SHGP.

研究の動機と目的

• ラベルなしの HINs（異種情報ネットワーク）で有用なノード埋め込みの学習を動機づける。
• グラフの SSL において一般的な手作りの正例/負例戦略への依存を排除する。
• 埋め込み学習を導く構造的クラスタリングと、それが再びクラスタリングを導く埋め込み学習を相互に促進するデュアルモジュール枠組みを提案する。
• 分類やクラスタリングなどの下流タスクを改善する転移可能な埋め込みを示す。

提案手法

• 二つの相互作用モジュールを導入する：Att-HGNN（アテンションベースの異種 GNN エンコーダ）と Att-LPA（同じアテンション重み付けを用いるラベル伝搬による構造的クラスタリング）。
• 初期の LPA クラスタリングを擬似ラベルとして Att-HGNN をウォームスタートさせ、共有アテンション係数で埋め込みと擬似ラベルを反復的に更新する。
• Att-HGNN の予測と Att-LPA によって生成された擬似ラベルとの間のクロスエントロピー損失で学習する。
• Att-HGNN と Att-LPA の間で同じアテンション集約スキームを共有し、相互強化を可能にする。
• 効率と性能の利点から Att-HGNN のベースエンコーダとして ie-HGCN を採用する。
• ノードとエッジの時間計算量をほぼ線形（O(|V|+|E|）として分析する。

実験結果

リサーチクエスチョン

• RQ1 HIN に対する自己教師付き事前学習は、正例や負例の生成なしに実行できるか？
• RQ2 構造的クラスタリングをアテンションベース HGNN に統合して識別的な埋め込みを生み出すにはどうすればよいか？
• RQ3 SHGP で学習された埋め込みは、複数のデータセットに跨る分類やクラスタリングなどの下流タスクに効果的に転移するか？
• RQ4 擬似ラベル伝搬を埋め込み学習と合わせることは、異種グラフ上の従来の SSL 手法と比較して一般化を改善するか？

主な発見

• SHGP は、4つの実世界データセットにおいて、最先端の無監督ベースラインと競合する、あるいは優れた性能を達成する。さらには一部の半監督ベースラインをも上回る。
• 構造的クラスタリングに導かれた擬似ラベルとして Att-LPA を使用することで、Att-HGNN はより良い埋め込みとアテンション係数を学習し、識別性を向上させる。
• SHGP は強力なオブジェクト分類性能とクラスタリング品質を示し、正例/負例戦略に依存するベースラインをしばしば上回る。
• 本手法は事前学習済み埋め込みの下流タスクへの堅牢な転移性を示し、学習された表現の良好な一般化を示唆する。