[論文レビュー] Self-supervised Heterogeneous Graph Neural Network with Co-contrastive Learning

Xiao Wang, Nian Liu+2 more|arXiv (Cornell University)|May 19, 2021

Advanced Graph Neural Networks参考文献 34被引用数 27

ひとこと要約

HeCoを紹介する。ネットワークスキーマビューとメタパスビュー全体でのビュー間コントラスト学習を用いる自己教師ありの異種グラフニューラルネットワークで、ビューマスクとハードネガティブ拡張を備え、複数のデータセットでベースラインを上回る。

ABSTRACT

Heterogeneous graph neural networks (HGNNs) as an emerging technique have shown superior capacity of dealing with heterogeneous information network (HIN). However, most HGNNs follow a semi-supervised learning manner, which notably limits their wide use in reality since labels are usually scarce in real applications. Recently, contrastive learning, a self-supervised method, becomes one of the most exciting learning paradigms and shows great potential when there are no labels. In this paper, we study the problem of self-supervised HGNNs and propose a novel co-contrastive learning mechanism for HGNNs, named HeCo. Different from traditional contrastive learning which only focuses on contrasting positive and negative samples, HeCo employs cross-viewcontrastive mechanism. Specifically, two views of a HIN (network schema and meta-path views) are proposed to learn node embeddings, so as to capture both of local and high-order structures simultaneously. Then the cross-view contrastive learning, as well as a view mask mechanism, is proposed, which is able to extract the positive and negative embeddings from two views. This enables the two views to collaboratively supervise each other and finally learn high-level node embeddings. Moreover, two extensions of HeCo are designed to generate harder negative samples with high quality, which further boosts the performance of HeCo. Extensive experiments conducted on a variety of real-world networks show the superior performance of the proposed methods over the state-of-the-arts.

研究の動機と目的

• 異種情報ネットワーク（HIN）のラベル不足に対処するため、HGNNに自己教師あり学習を実現する。
• HINの局所的な構造（ネットワークスキーマ）と高位の構造（メタパス）を捉えるためのクロスビュー対比機構を設計する。
• ビューマスクを導入してビューの多様性とビュー間の協調的監督を強化する。
• より高品質なネガティブサンプルを生成して対比学習の性能を向上させる拡張を提供する。

提案手法

• HINの2つのビューを定義する：ネットワークスキーマビューとメタパスビュー、それぞれのビューでノード埋め込みを学習する。
• ノード特徴をタイプ特異的な線形写像で共通潜在空間へ射影する。
• ネットワークスキーマビューのエンコーダは、ノード-およびタイプレベルのアテンションと近傍サンプリングを用いて多型の隣人を集約し、多様性を制御する。
• メタパスビューのエンコーダは、メタパス特有のGCNと意味レベルのアテンションを適用して複数のメタパス埋め込みを統合する。
• 一方のビューの埋め込みをアンカー、他方のビューの埋め込みをポジティブ/ネガティブとして扱うクロスビュー共対比損失を適用し、複数陽性対比目的と共有MLP射影を用いる。
• エンコード中に各ビューの一部をマスクしてクロスビューの多様性を高め、補完的な監督を強制するビュー マスク機構を導入する。
• より高品質なネガティブサンプルを生成する拡張として、HeCo_GANとHeCo_MUを提案し（GANベースのネガティブとMixUp風ネガティブ）、トレーニング効率を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしで、異種情報ネットワーク（HIN）に自己教師あり学習を効果的に適用するにはどうすればよいか？
• RQ2 ネットワークスキーマビューとメタパスビューを横断するビュー間対比学習は、単一ビュー手法より局所的および高次のHIN構造をよりよく捉えることができるか？
• RQ3 ビューマスク、ハードネガティブなど、どのメカニズムがHGNNsの対比信号の品質と有用性を高めるか？
• RQ4 現実世界のHINデータセットで、クロスビュー共対比アプローチは既存の教師なしおよび半教師ありHGNNより優れているか？

主な発見

• HeCoは、複数の実世界HINデータセットにおけるノード分類で、最先端の教師なし、および一部半教師付きのベースラインを一貫して上回る。
• クロスビュー学習（ネットワークスキーマ対メタパス）は、単一ビューより識別力の高いノード埋め込みを生み出し、ノイズの多い単一ビュー信号を緩和するのに役立つ。
• ビューマスキングはビューの多様性を高め、クロスビュー監督を強化し、より良い埋め込みにつながる。
• 拡張のHeCo_GANとHeCo_MUはより高品質なネガティブサンプルを提供し、性能をさらに向上させる。
• 提案されたクロスビュー共対比フレームワークは、異種グラフに対する自己教師あり学習の有効性を示し、特定の設定でラベルに依存する手法を凌ぐことができる。