[論文レビュー] The CAT SET on the MAT: Cross Attention for Set Matching in Bipartite Hypergraphs

Gajanand Sharma, Swyam Prakash Singh+2 more|arXiv (Cornell University)|Oct 30, 2021

Bioinformatics and Genomic Networks被引用数 4

ひとこと要約

本稿では、二部ハイパーグラフ学習のための新しいクロスアテンションニューラルネットワーク、CATSETMATを紹介する。二部ハイパーエッジ予測をセットマッチング問題として定式化し、左および右のハイパーエッジ間のクロスアテンションをモデル化することで、従来のハイパーエッジ埋め込み手法に見られる重要な正例・負例ラベル付けのジレンマを解消する。この手法は、最先端の手法を上回る性能を発揮する。

ABSTRACT

Usual relations between entities could be captured using graphs; but those of a higher-order -- more so between two different types of entities (which we term "left" and "right") -- calls for a "bipartite hypergraph". For example, given a left set of symptoms and right set of diseases, the relation between a set subset of symptoms (that a patient experiences at a given point of time) and a subset of diseases (that he/she might be diagnosed with) could be well-represented using a bipartite hyperedge. The state-of-the-art in embedding nodes of a hypergraph is based on learning the self-attention structure between node-pairs from a hyperedge. In the present work, given a bipartite hypergraph, we aim at capturing relations between node pairs from the cross-product between the left and right hyperedges, and term it a "cross-attention" (CAT) based model. More precisely, we pose "bipartite hyperedge link prediction" as a set-matching (SETMAT) problem and propose a novel neural network architecture called CATSETMAT for the same. We perform extensive experiments on multiple bipartite hypergraph datasets to show the superior performance of CATSETMAT, which we compare with multiple techniques from the state-of-the-art. Our results also elucidate information flow in self- and cross-attention scenarios.

研究の動機と目的

• 二つの互いに素なノード集合間の高次関係構造としての二部ハイパーグラフに関する機械学習研究の不足を解決すること。
• Hyper-SAGNNなどの既存のハイパーエッジ埋め込みモデルに見られる、二部ハイパーグラフに適用した際の正例・負例ラベル付けのジレンマという深刻な欠陥を特定すること。
• 二部ハイパーエッジ予測を、ハイパーエッジに同時に存在する左および右のノード部分集合をマッチングするセットマッチング（SETMAT）問題として再定式化すること。
• 左および右のハイパーエッジ集合間の相互作用をモデル化するためのクロスアテンションを活用する新しいニューラルアーキテクチャ、CATSETMATを提案すること。
• 自己アテンションメカニズムと比較して、クロスアテンションが二部関係構造を捉える能力に優れていることを実証し、情報フローに関するアブレーションスタディを実施すること。

提案手法

• 二部ハイパーエッジ予測をセットマッチングタスクとして定式化：左および右のハイパーエッジ集合が与えられたとき、どのペアが有効な二部ハイパーエッジを形成するかを予測する。
• すべての左および右のハイパーエッジペア間のアテンションスコアを計算するクロスアテンションメカニズムを導入し、両集合間の相互作用を可能にする。
• 左および右のハイパーエッジからクエリ、キー、バリューの投影を生成し、クロスアテンション特徴を計算するためのニューラルネットワークアーキテクチャ、CATSETMATを設計する。
• マルチヘッドクロスアテンションを残差接続およびフィードフォワード層と組み合わせ、アテンションベースの表現を統合・精錬する。
• 正例ペア（真の二部ハイパーエッジから得られる）と負例ペア（サイズ制約付きのランダムサンプリングにより抽出）を区別するための対照学習目的関数を適用する。
• 最終的な分類ヘッドを適用し、セットペアが有効な二部ハイパーエッジである確率を予測することで、エンドツーエンドの学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 クロスアテンションメカニズムは、二つの互いに素なノード集合をまたぐ関係を有する二部ハイパーグラフにおいて、高次関係を効果的にモデル化できるか？
• RQ2 自己アテンションメカニズム（例：Hyper-SAGNN）と比較して、クロスアテンションは二部ハイパーエッジ予測タスクにおいてどの程度優れているか？
• RQ3 二部ハイパーグラフにおけるハイパーエッジ予測に、正例・負例ラベル付けのジレンマが及ぼす影響は何か？また、これを軽減できるか？
• RQ4 二部ハイパーエッジ予測とセットマッチングの間に理論的同等性が存在するか？もしそうなら、これをモデル設計の強化に活用できるか？
• RQ5 自己アテンションとクロスアテンションの両者において、二部ハイパーグラフ学習の文脈での情報フローにどのような違いが生じるか？

主な発見

• CATSETMATは、複数の二部ハイパーグラフデータセットで最先端の性能を達成し、Hyper-SAGNN や FSPool などの既存モデルを上回る。
• Hyper-SAGNNにおける正例・負例ラベル付けのジレンマは、最大13%の高い分散と一般化性能の低さを引き起こし、特に mag-acm-ak などの困難なデータセットで顕著に現れる。
• サイズ制約付きのランダム負例サンプリング方式を採用した場合、Hyper-SAGNN は mag-acm-ak でテストAUC98%を達成するが、これは元の設定の不安定性を露呈する。
• アブレーションスタディにより、クロスアテンションがセット間相互作用を捉えるために不可欠であることが確認され、自己アテンションでは二部ハイパーエッジの真の関係構造をモデル化できないことが判明した。
• 二部ハイパーエッジ予測とセットマッチングの間には理論的同等性が確立され、提案手法の問題再定式化が妥当な基盤を提供することが裏付けられた。
• 本モデルは、症状-疾患、映画-俳優、学術共同執筆ネットワークなど多様なデータセットにおいて、強固で一貫性のある性能を示した。