[論文レビュー] Hyper-SAGNN: a self-attention based graph neural network for hypergraphs

Ruochi Zhang, Yuesong Zou+1 more|arXiv (Cornell University)|Nov 6, 2019

Advanced Graph Neural Networks参考文献 27被引用数 31

ひとこと要約

Hyper-SAGNN は、サイズが可変なハイパーエッジを扱える自己注意機構に基づくグラフニューラルネットワークであり、同型および異型ハイパーグラフの両方を対象として設計されたハイパーグラフ表現学習のためのものである。ノード分類、リンク予測、および新しい外縁者同定タスクにおいて最先端の手法を上回り、単細胞Hi-Cデータセットにおいても3次元ゲノム組織パターンを捉えることで優れたクラスタリング性能を達成した。

ABSTRACT

Graph representation learning for hypergraphs can be used to extract patterns among higher-order interactions that are critically important in many real world problems. Current approaches designed for hypergraphs, however, are unable to handle different types of hypergraphs and are typically not generic for various learning tasks. Indeed, models that can predict variable-sized heterogeneous hyperedges have not been available. Here we develop a new self-attention based graph neural network called Hyper-SAGNN applicable to homogeneous and heterogeneous hypergraphs with variable hyperedge sizes. We perform extensive evaluations on multiple datasets, including four benchmark network datasets and two single-cell Hi-C datasets in genomics. We demonstrate that Hyper-SAGNN significantly outperforms the state-of-the-art methods on traditional tasks while also achieving great performance on a new task called outsider identification. Hyper-SAGNN will be useful for graph representation learning to uncover complex higher-order interactions in different applications.

研究の動機と目的

• 既存のハイパーグラフモデルが、汎用的にサイズが可変で異型のハイパーエッジを扱えないという制限を解消すること。
• 任意のハイパーエッジサイズを有する同型および異型ハイパーグラフに適用可能な統一的なハイパーグラフ表現学習フレームワークを構築すること。
• 固定サイズの入力やペairwiseエッジへの分解を必要とせず、未観測のタイプやサイズのハイパーエッジについてもエンドツーエンドで予測可能にすること。
• ノード分類、リンク予測、および新しい外縁者同定タスクを含む下流タスクにおける性能向上を図ること。
• 単細胞Hi-Cデータセットに対して効果的に適用し、3次元ゲノム組織の解明および細胞集団のクラスタリングを可能にすること。

提案手法

• Hyper-SAGNN は自己注意機構を用いて、各ハイパーエッジ内におけるノード間の特徴を動的に集約し、サイズが可変なハイパーエッジを柔軟にモデル化する。
• 計算効率を確保するため、入力が最大ハイパーエッジサイズで制限されるグラフ自己注意ネットワーク（GAT）の変種を採用する。
• 静的および動的ノード埋め込みをサポートし、静的埋め込みはノードごとに固定され、動的埋め込みは各ハイパーエッジタプルごとに計算される。
• ハイパーエッジの分解を回避し、多層パーセプトロン（MLP）を用いて直接的にタプルワイドの関係をモデル化する。
• ノードレベルおよびハイパーエッジレベルの予測タスクを同時に最適化することで、マルチタスク学習を可能にする。
• 単細胞Hi-Cデータに適用する際は、染色体接触パターンをハイパーグラフとして表現し、グラフオートエンコーダー構造により埋め込みを学習する。

実験結果

リサーチクエスチョン

• RQ1 ペairwiseエッジへの分解を必要とせず、異型でサイズが可変なハイパーエッジを効果的にモデル化できるか？
• RQ2 Hyper-SAGNN における自己注意機構は、固定サイズまたは分解可能なモデルと比較して、ハイパーグラフ表現学習の性能を向上させるか？
• RQ3 特に構造的多様性が顕著な現実世界のデータセットにおいて、未観測のハイパーエッジタイプやサイズに一般化できるか？
• RQ4 外縁者同定という新しいタスクにおいて、Hyper-SAGNN は、既知のハイパーエッジに属さないノードを検出できるか？
• RQ5 Hyper-SAGNN は、細胞型特異的な3次元ゲノム組織を含む生物学的に意味のあるパターンを、単細胞Hi-Cデータからどれほど正確に捉えられるか？

主な発見

• 4つのベンチマークネットワークデータセットにおいて、Hyper-SAGNN は DHNE や他の最先端手法を大きく上回り、ノード分類およびリンク予測タスクで優れた性能を示した。
• 新しい外縁者同定タスクにおいても、Hyper-SAGNN は優れた性能を達成し、既知のハイパーエッジに属さないノードを検出できる能力を示した。
• 単細胞Hi-Cデータセットにおいて、Ramaniらのデータでは調整ランダムインデックス（ARI）が0.83と最高を記録し、HiC-Rep/MDS や scHiCluster を上回った。
• Nagano らのデータセットでは、ACROC スコアが0.89を達成し、HiC-Rep/MDS と同等の性能を示し、細胞周期進行のパターンを強く捉えていることが示された。
• UMAP や PCA を用いた埋め込みの可視化により、細胞の細胞型ごとに明確なクラスタリングが観察され、血液関連細胞線（HAP1, GM12878, K562）がまとまって配置された。
• Ramani らのデータセットにおいて、教師あり多クラス分類設定でマイクロ-F1（0.91）およびマクロ-F1（0.87）の高いスコアを達成し、学習済み表現の質の高さを裏付けた。