[論文レビュー] Deep Hyperedges: a Framework for Transductive and Inductive Learning on Hypergraphs

Josh Payne|arXiv (Cornell University)|Oct 7, 2019

Advanced Graph Neural Networks参考文献 41被引用数 11

ひとこと要約

本稿では、ランダムウォークベースの埋め込み手法を用いて頂点の所属関係と文脈的情報を統合的に活用する、超グラフにおける推論的およびインダクティブな学習のための新規フレームワークであるDeep Hyperedges (DHE)を提案する。DHEは、ベンチマークおよび非標準的な超グラフデータセットにおいて、最先端または優れた性能を達成しており、特にCORUMタンパク質複合体データセットでは95.53%の正確度、バランスの取れたMeetupsデータセットでは88.31%を達成している。

ABSTRACT

From social networks to protein complexes to disease genomes to visual data, hypergraphs are everywhere. However, the scope of research studying deep learning on hypergraphs is still quite sparse and nascent, as there has not yet existed an effective, unified framework for using hyperedge and vertex embeddings jointly in the hypergraph context, despite a large body of prior work that has shown the utility of deep learning over graphs and sets. Building upon these recent advances, we propose extit{Deep Hyperedges} (DHE), a modular framework that jointly uses contextual and permutation-invariant vertex membership properties of hyperedges in hypergraphs to perform classification and regression in transductive and inductive learning settings. In our experiments, we use a novel random walk procedure and show that our model achieves and, in most cases, surpasses state-of-the-art performance on benchmark datasets. Additionally, we study our framework's performance on a variety of diverse, non-standard hypergraph datasets and propose several avenues of future work to further enhance DHE.

研究の動機と目的

• 頂点の所属関係と文脈的構造を統合的にモデル化する、統一的かつ効果的な超グラフにおける深層学習のフレームワークの不足を解消すること。
• 超グラフにおける推論的およびインダクティブな学習を両立できる、スケーラブルでモジュラーなフレームワークの開発。
• 順列不変な集合学習と文脈に配慮したランダムウォークを統合することで、超グラフ分類の性能を向上させること。
• 標準ベンチマークにとどまらない、多様で非標準的な超グラフデータセットにおけるフレームワークの評価。
• 将来的な畳み込み型およびスペクトル的手法のDHEフレームワーク内での統合の基盤を確立すること。

提案手法

• 超グラフにおける文脈的に情報を持つハイパーエッジ埋め込みを生成するため、新たなランダムウォーク手順「TaS Walks（遷移に配慮したサンプリング）」を提案する。
• 頂点の所属関係（順列不変な集合表現）と文脈的構造（ランダムウォークを介して）の両方を扱う二重符号化戦略を採用する。
• DeepSetsに類似したアーキテクチャを用いて、ハイパーエッジを頂点の集合としてモデル化し、所属関係表現における順列不変性を保証する。
• TaS Walksからの文脈的埋め込みと集合ベースの表現を統合し、分類に適した統合的ハイパーエッジ埋め込みを形成する。
• 未観測の頂点やハイパーエッジに一般化できる表現を学習することで、推論的およびインダクティブな学習を両立する。
• 将来的な拡張を可能とするモジュラー設計を採用し、グラフ畳み込みなどの代替埋め込み手法の統合を可能にする。

実験結果

リサーチクエスチョン

• RQ1 統一的フレームワークが、超グラフにおける頂点の所属関係と文脈的構造を統合的にモデル化することで、分類性能の向上が図れるか？
• RQ2 提案されたTaS Walksランダムウォーク手順は、既存のランダムウォークおよび埋め込み手法と比較して、どのように優れているか？
• RQ3 集合の所属関係と文脈の両方を統合することで、非標準的かつ現実世界の超グラフデータセットにおける性能向上はどの程度達成されるか？
• RQ4 DHEフレームワークは、新たなハイパーエッジや頂点が導入されるインダクティブな学習設定において、効果的に一般化できるか？
• RQ5 DHEは、DeepSets + SaT Walks や MLP + TaS Walks といったベースラインモデルと比較して、多様な超グラフデータ分布においてどのように性能を発揮するか？

主な発見

• Cora引用ネットワークデータセットでは、DHEが82.29%のテスト正確度を達成し、このベンチマークで先行手法を上回った。
• PubMed糖尿病データセットでは、DHEが82.35%のテスト正確度を達成し、生物医学的超グラフデータに対して優れた性能を示した。
• CORUMタンパク質複合体データセットでは、DHEが95.53%のテスト正確度を達成し、高基数信号を持つ生物学的超グラフにおいてその有効性を示した。
• バランスの取れたMeetupsデータセットでは、DHEが88.31%のテスト正確度を達成し、このソーシャルネットワーク超グラフにおいてベースラインモデルを著しく上回った。
• 非バランスなDisGeNet疾患ゲノムデータセットでは、特徴埋め込みを用いずに40%のテスト正確度を達成し、クラスの不均衡や線形分離不可能性にもかかわらず、そのロバスト性を示した。
• 比較分析において、DHEはすべてのデータセットでDeepSets + SaT Walks や MLP + TaS Walks を常に上回るか、同等の性能を発揮し、基数と文脈の重要性に応じて性能が変化した。