[論文レビュー] SEGA: Structural Entropy Guided Anchor View for Graph Contrastive Learning

Junran Wu, Xueyuan Chen+3 more|arXiv (Cornell University)|May 8, 2023

Advanced Graph Neural Networks被引用数 5

ひとこと要約

本稿では、グラフ情報ボトルネック理論に従い、構造的エントロピーの最小化によって本質的な構造的情報を保持する、グラフ対照的学習のための新規アンカービューSEGAを提案する。SEGAは、無教師、半教師あり、転移学習のベンチマークにおいて、グラフ分類の分野で最先端の性能を達成し、既存手法よりも最大3.17%の一貫した精度向上を実現する。

ABSTRACT

In contrastive learning, the choice of ``view'' controls the information that the representation captures and influences the performance of the model. However, leading graph contrastive learning methods generally produce views via random corruption or learning, which could lead to the loss of essential information and alteration of semantic information. An anchor view that maintains the essential information of input graphs for contrastive learning has been hardly investigated. In this paper, based on the theory of graph information bottleneck, we deduce the definition of this anchor view; put differently, extit{the anchor view with essential information of input graph is supposed to have the minimal structural uncertainty}. Furthermore, guided by structural entropy, we implement the anchor view, termed extbf{SEGA}, for graph contrastive learning. We extensively validate the proposed anchor view on various benchmarks regarding graph classification under unsupervised, semi-supervised, and transfer learning and achieve significant performance boosts compared to the state-of-the-art methods.

研究の動機と目的

• 対照的学習のためのグラフの本質的構造的情報を保持するアンカービューを定義すること。
• 既存のグラフ対照的学習手法がランダムまたは学習されたビューを使用するという制限を解決すること。この方法では、重要な構造的意味論が歪められたり消失したりする可能性がある。
• 構造的エントロピーの最小化を用いて、原理的かつ情報理論的根拠に基づいた高品質なアンカービューを生成する手法を開発すること。
• 提案されたアンカービューの有効性を、無教師、半教師あり、転移学習を含む多様なグラフ学習設定において検証すること。

提案手法

• アンカービューは、グラフ情報ボトルネック原理から導かれた、構造的不確実性が最小であるグラフ表現として理論的に定義される。
• 構造的エントロピーは、構造的不確実性を定量化・最小化する指標として用いられ、本質的なグラフ構造の特定を可能にする。
• 最適化アルゴリズムにより、構造的エントロピーの最小化を通じて入力グラフの本質的情報を表現するコーディングツリーが生成される。
• GNNベースのエンコーダーがこれらのコーディングツリーを処理し、対照的学習に適したコンパクトで情報豊富な表現を抽出する。
• フレームワークは、コーディングツリーの埋め込み（アンカービュー）と、拡張されたグラフ表現との間で相互情報量を最大化し、表現の一貫性を高める。
• 本手法は、既存のデータ拡張戦略と直交しており、それらと組み合わせることでさらなる性能向上が可能である。

実験結果

リサーチクエスチョン

• RQ1 対照的学習のためのグラフの本質的情報を保持する理想的なアンカービューとは何か？
• RQ2 構造的エントロピーをどのように用いることで、構造的不確実性を最小化する高品質なアンカービューを実装できるか？
• RQ3 このエントロピー誘導アンカービューを用いた対照的学習フレームワークは、複数のグラフ学習設定で既存の最先端手法を上回る性能を発揮できるか？
• RQ4 コーディングツリーの高さは、提案手法の性能にどのように影響するか？

主な発見

• SEGAは、無教師学習下で8つのグラフ分類ベンチマークで最先端の性能を達成し、SOTAの拡張戦略と組み合わせた場合、平均で0.85%～1.28%の精度向上を示した。
• 転移学習において、SEGAは9つのベンチマークでGraphCLを上回り、平均ROC-AUCで3.17%の向上を達成し、優れた一般化能力を示した。
• 半教師あり学習においても、SEGAはすべてのベースラインを上回り、すべてのデータセットで一貫した改善を示した。これは、ラベルが限られた状況でも有効であることを裏付けた。
• アブレーションスタディの結果、ランダムなコーディングツリーと比較して、構造的エントロピー誘導が顕著な性能向上をもたらし、全8つのベンチマークで一貫した向上が確認された。
• 最適なコーディングツリーの高さはデータセットによって異なるが、一般的には浅いツリー（k ≤ 5）が最も良い性能を示した。ただし、NCI1とDDではより深い階層構造の可能性も示された。