[論文レビュー] Augmentations in Hypergraph Contrastive Learning: Fabricated and Generative

Tianxin Wei, Yuning You+4 more|PubMed|Oct 7, 2022

Multimodal Machine Learning Applications参考文献 6被引用数 32

ひとこと要約

本論文は HyperGCL を導入する。これは、低ラベル設定での一般化を向上させるための、偽装（fabricated）および生成的（generative）な augmentation を備えた超グラフの対比学習フレームワークであり、高階のハイパーエッジ撹乱と変分的ハイパーグラフ自己エンコーダ（variational hypergraph auto-encoder）の組み合わせが強力な性能向上をもたらすことを示す。

ABSTRACT

This paper targets at improving the generalizability of hypergraph neural networks in the low-label regime, through applying the contrastive learning approach from images/graphs (we refer to it as <b>HyperGCL</b>). We focus on the following question: <i>How to construct contrastive views for hypergraphs via augmentations?</i> We provide the solutions in two folds. First, guided by domain knowledge, we <b>fabricate</b> two schemes to augment hyperedges with higher-order relations encoded, and adopt three vertex augmentation strategies from graph-structured data. Second, in search of more effective views in a data-driven manner, we for the first time propose a hypergraph generative model to <b>generate</b> augmented views, and then an end-to-end differentiable pipeline to jointly learn hypergraph augmentations and model parameters. Our technical innovations are reflected in designing both fabricated and generative augmentations of hypergraphs. The experimental findings include: (i) Among fabricated augmentations in HyperGCL, augmenting hyperedges provides the most numerical gains, implying that higher-order information in structures is usually more downstream-relevant; (ii) Generative augmentations do better in preserving higher-order information to further benefit generalizability; (iii) HyperGCL also boosts robustness and fairness in hypergraph representation learning. Codes are released at https://github.com/weitianxin/HyperGCL.

研究の動機と目的

• 少数ショット/低ラベル設定におけるハイパーグラフ神経ネットワークの一般化の課題に対処する。
• 高次情報を保持するハイパーグラフに対して効果的な対比ビューを設計する。
• 手作成（fabricated）およびデータ駆動型（generative）の augmentation スキームの開発。
• augmentation をモデルパラメータとともに学習する、エンドツーエンドで微分可能なパイプラインを提供する。

提案手法

• 二つの fabrication ベースの augmentation スキームを提案する：ハイパーエッジを撹乱する、二部グラフ表現のエッジを撹乱する、さらに三つの頂点中心の augmentation（ドロップ、マスキング、サブグラフ）を加える。
• 頂点とハイパーエッジの表現を変分推論を用いて符号化/復号することで augmentation を学習する、ハイパーグラフ生成モデル（VHGAE）を導入する。
• エンドツーエンド訓練のために、hyperedge 撹乱の微分可能なサンプリングを可能にする Gumbel-Softmax を使用する。
• 対比損失と教師あり目的を結合したマルチタスク学習設定を採用し、 augmentation と HyperGNN パラメータの共同学習を可能にする。
• 高次情報の保存性を評価するために、クリーク拡張グラフでの対比と比較することを任意で検討する。

実験結果

リサーチクエスチョン

• RQ1 高次情報を保持するようなハイパーグラフの対比ビューはどのように構築できるか？
• RQ2 HyperGCL において、ハイパーエッジベースの fabrication augmentation は頂点中心の augmentation より優れているか？
• RQ3 データ駆動型の生成 augmentation モデルは、手作成の augmentation を超えたハイパーグラフ表現学習を実現できるか？
• RQ4 微分可能なサンプリングを介した augmentation とモデルパラメータの共同学習は、一般化性・頑健性・公正性を向上させるか？

主な発見

• ハイパーエッジを撹乱する fabrication augmentation（A2）は、ほとんどのデータセットで基本的なハイパーエッジ撹乱（A1）を一貫して上回り、高次情報の重要性を裏付けている。
• 生成的 augmentation（A6）はほとんどのデータセットで fabrication より優れており、高次構造の保持と一般化性の向上を示している。
• HyperGCL は対ウェア攻撃に対する頑健性を高め、いくつかのデータセットで公正性指標を改善する。
• 対比損失を用いたマルチタスク学習（MTL）は一般に最高の性能を示し、多くのデータセットで事前学習スキームを上回る。
• 変換されたクリーク拡張グラフでの対比は、SetGNN ベースの HyperGNN アプローチを下回り、ハイパーグラフネイティブな対比学習の価値を浮き彫りにしている。