[論文レビュー] CAT-Walk: Inductive Hypergraph Learning via Set Walks

Ali Behrouz, Farnoosh Hashemi+2 more|arXiv (Cornell University)|Jun 19, 2023

Complex Network Analysis Techniques被引用数 4

ひとこと要約

CAt-Walk は、時間的かつ高次元のランダムウォークである SetWalk を用いて、時間的ハイパーグラフ内の動的で因果的なパターンを捉えるインダクティブなハイパーグラフ表現学習手法である。同手法は、置換不変な SetMixer プーリングと集合ベースの匿名化を採用し、ロバストでアイデンティティに依存しない学習を実現しており、10のベンチマークデータセットにおいてハイパーエッジ予測タスクで最先端の性能を達成した。インダクティブ設定下での AUC は 96.74% ± 1.28 であった。

ABSTRACT

Temporal hypergraphs provide a powerful paradigm for modeling time-dependent, higher-order interactions in complex systems. Representation learning for hypergraphs is essential for extracting patterns of the higher-order interactions that are critically important in real-world problems in social network analysis, neuroscience, finance, etc. However, existing methods are typically designed only for specific tasks or static hypergraphs. We present CAT-Walk, an inductive method that learns the underlying dynamic laws that govern the temporal and structural processes underlying a temporal hypergraph. CAT-Walk introduces a temporal, higher-order walk on hypergraphs, SetWalk, that extracts higher-order causal patterns. CAT-Walk uses a novel adaptive and permutation invariant pooling strategy, SetMixer, along with a set-based anonymization process that hides the identity of hyperedges. Finally, we present a simple yet effective neural network model to encode hyperedges. Our evaluation on 10 hypergraph benchmark datasets shows that CAT-Walk attains outstanding performance on temporal hyperedge prediction benchmarks in both inductive and transductive settings. It also shows competitive performance with state-of-the-art methods for node classification. (https://github.com/ubc-systopia/CATWalk)

研究の動機と目的

• 既存のハイパーグラフ表現学習手法が静的・トランスダクティブ・タスク特化的であるという限界を解消すること。
• 時間的ハイパーグラフにおける動的かつ高次元の相互作用を学習可能なインダクティブ手法を開発すること。
• 匿名化を用いてハイパーエッジおよびノードのアイデンティティに依存しない表現学習を可能にすること。
• 時間的および構造的因果関係を捉えることで、ハイパーエッジ予測およびノード分類の性能を向上させること。
• スケーラブルで汎用的なフレームワークを設計し、下流タスクに一般化可能にする。

提案手法

• ハイパーエッジ中心のランダムウォークである SetWalk を導入し、ハイパーエッジを完全に分解せずに全エッジを通過することで、高次元の意味的性質を保持する。
• 2段階の集合ベースの匿名化を採用：まず、サンプリングされたウォーク内でのノードの頻度に基づき位置符号化を割り当てる。次に、SetMixer を用いてノード表現を置換不変な方法でプールし、ハイパーエッジ表現を生成する。
• 不規則に間隔が空いた時間的ウォークを扱うために、時間符号化モジュールと MLP-Mixer を組み合わせ、RNN ような逐次エンコーダーの制限を回避する。
• ノードから SetWalk をサンプリングする新しいニューラル符号化モデルを提案し、得られたウォークを用いて下流タスクのためのグラフニューラルネットワークを学習する。
• ノードの順序に依存しないモデルを保証するため、置換不変なプーリング戦略（SetMixer）を活用する。
• インダクティブかつ汎用的なフレームワークを設計し、未観測のハイパーエッジおよびノードに対してもゼロショット予測を可能にする。

Figure 1: The advantage of SetWalk s in walk-based hypergraph learning.

実験結果

リサーチクエスチョン

• RQ1 ハイパーエッジ中心のランダムウォークは、動的ハイパーグラフにおける時間的および高次元の因果的パターンを効果的に捉えることができるか？
• RQ2 ハイパーエッジおよびノードのアイデンティティに依存しない表現学習を、構造的および時間的意味を保持したまま実現できるか？
• RQ3 逐次的でない、連続時間符号化手法は、従来の RNN に基づく逐次エンコーダーを上回ることができるか？
• RQ4 提案手法は、ハイパーエッジ予測およびノード分類を含む複数の下流タスクに、インダクティブおよびトランスダクティブ設定の両方で一般化可能か？
• RQ5 SetWalk は、クライク拡張に基づくウォークや既存のハイパーグラフ GNN よりも性能を向上させるか？

主な発見

• CAt-Walk はインダクティブ設定下でハイパーエッジ予測タスクにおいて 96.74% ± 1.28 AUC を達成し、10のベンチマークデータセットすべてでベースラインを顕著に上回った。
• トランスダクティブ設定下では 97.06% ± 3.72 AUC を達成し、優れた一般化性能とロバスト性を示した。
• AUC および平均適合率の両指標において、CHESHIRE や CE-CAW、HyperSAGCN などの最先端手法を上回った。
• MLP-Mixer を RNN に置き換えると、タイムスタンプの分散が大きいデータセットにおいても一貫した性能低下が観察され、連続時間符号化の優位性が裏付けられた。
• SetMixer の置換不変プーリングにより、ノードの順序が変化しても効果的かつ安定したハイパーエッジ表現学習が可能となった。
• ノード分類タスクにおいても競争力のある性能を示し、ハイパーエッジ予測を越えて汎用性があることが示された。

Figure 2: The advantage of SetWalk s in causality extraction and capturing complex dynamic laws.