[論文レビュー] CoCo: A Coupled Contrastive Framework for Unsupervised Domain Adaptive Graph Classification

Nan Yin, Li Shen+6 more|arXiv (Cornell University)|Jun 8, 2023

Advanced Graph Neural Networks被引用数 9

ひとこと要約

CoCo はデュアルブランチフレームワーク（GCN と階層グラフカーネルネットワーク）と結合されたクロスドメイン対照学習を導入し、教師なしドメイン適応グラフ分類を可能にする。多様なグラフデータセット間の転移を改善することを示す。

ABSTRACT

Although graph neural networks (GNNs) have achieved impressive achievements in graph classification, they often need abundant task-specific labels, which could be extensively costly to acquire. A credible solution is to explore additional labeled graphs to enhance unsupervised learning on the target domain. However, how to apply GNNs to domain adaptation remains unsolved owing to the insufficient exploration of graph topology and the significant domain discrepancy. In this paper, we propose Coupled Contrastive Graph Representation Learning (CoCo), which extracts the topological information from coupled learning branches and reduces the domain discrepancy with coupled contrastive learning. CoCo contains a graph convolutional network branch and a hierarchical graph kernel network branch, which explore graph topology in implicit and explicit manners. Besides, we incorporate coupled branches into a holistic multi-view contrastive learning framework, which not only incorporates graph representations learned from complementary views for enhanced understanding, but also encourages the similarity between cross-domain example pairs with the same semantics for domain alignment. Extensive experiments on popular datasets show that our CoCo outperforms these competing baselines in different settings generally.

研究の動機と目的

• グラフ分類におけるターゲットラベルが希少または欠如している場合の教師なしドメイン適応を動機づける。
• 暗黙的および明示的なグラフトポロジ情報の両方を捉えるデュアルブランチアーキテクチャを提案する。
• ブランチ間およびドメイン間の表現を整合させるマルチビュー対照学習フレームワークを開発する。
• 標準的なグラフ分類ベンチマークでアプローチを検証し、アブレーションを分析する。

提案手法

• 暗黙的なトポロジ学習のためのグラフ畳み込みネットワーク（GCN）ブランチと、明示的にトポロジを捉える学習可能なフィルタとグラフカーネルを用いる階層グラフカーネルネットワーク（HGKN）ブランチの二つの結合ブランチ。
• 各グラフに対してGCNとHGKNからの表現を整合させるクロスブランチ対照学習。
• 疑似ラベルを用いたクロスドメイン対照学習でドメイン差を低減するEM風の尤度フレーミング。
• クロスブランチ、クロスドメイン、教師あり損失を組み合わせた全体目的関数。
• エンドツーエンド学習を可能にするため、GCNブランチでは二層のGINを、HGKNは訓練可能なフィルタと量子化を備えたWLカーネルベースのHGKNを使用。

Figure 1: An overview of the proposed CoCo. Our CoCo feeds source graphs and target graphs into two branches (i.e., GCN branch and HGKN branch). Cross-branch contrastive learning compares graph representations from two branches to achieve while cross-branch contrastive learning compares graph repres

実験結果

リサーチクエスチョン

• RQ1 限られたラベルデータの下でグラフのトポロジ情報を効果的に抽出・活用するにはどうすればよいか？
• RQ2 暗黙的（GCN）と明示的（HGKN）トポロジ表現を結合するとドメインシフト下でグラフ分類が改善されるか？
• RQ3 疑似ラベルに導かれたクロスドメイン対照学習はソースとターゲットのグラフを意味的に整合させ、ドメイン適応を改善できるか？
• RQ4 提案されたEMベースの視点はクロスドメイン対照学習目的に有効で、ドメイン整合を改善するか？

主な発見

• CoCo は複数の転送タスクとデータセットにおいて、GCN、WLサブツリー、さまざまなDA手法を含む広範なベースラインを上回る。
• クロスブランチ対照学習は補完的なトポロジビュ―を組み合わせることでグラフ表現を改善する。
• 疑似ラベルを用いたクロスドメイン対照学習は、同じ意味を持つクロスドメインペアを引き寄せることでドメイン差を縮小する。
• アブレーション研究により、クロスブランチまたはクロスドメイン対照成分を除去すると性能が劣化することが示され、これらの重要性が強調される。
• このフレームワークはMutagenicityなどのベンチマークで顕著な平均改善を達成し、堅牢なドメイン適応能力を示唆する。

Figure 2: An illustration of the hierarchical graph kernel network branch. HGKN compares each $r$ -hop subgraph with filter graphs to generate node features, followed by an attention-based pooling operation to coarsen the graph.