[논문 리뷰] The CAT SET on the MAT: Cross Attention for Set Matching in Bipartite Hypergraphs

Gajanand Sharma, Swyam Prakash Singh외 2명|arXiv (Cornell University)|2021. 10. 30.

Bioinformatics and Genomic Networks인용 수 4

한 줄 요약

이 논문은 이중 초그래프 학습을 위한 새로운 교차 어텐션 신경망인 CATSETMAT을 소개한다. 이는 이중 초간선 예측 문제를 집합 매칭 문제로 재정의한다. 기존의 초간선 임베딩 접근 방식에서 발생하는 긍정-부정 레이블링 딜레마를 해결하면서, 왼쪽과 오른쪽 초간선 간의 교차 어텐션을 모델링하여 최신 기술(SOTA)을 초월한다.

ABSTRACT

Usual relations between entities could be captured using graphs; but those of a higher-order -- more so between two different types of entities (which we term "left" and "right") -- calls for a "bipartite hypergraph". For example, given a left set of symptoms and right set of diseases, the relation between a set subset of symptoms (that a patient experiences at a given point of time) and a subset of diseases (that he/she might be diagnosed with) could be well-represented using a bipartite hyperedge. The state-of-the-art in embedding nodes of a hypergraph is based on learning the self-attention structure between node-pairs from a hyperedge. In the present work, given a bipartite hypergraph, we aim at capturing relations between node pairs from the cross-product between the left and right hyperedges, and term it a "cross-attention" (CAT) based model. More precisely, we pose "bipartite hyperedge link prediction" as a set-matching (SETMAT) problem and propose a novel neural network architecture called CATSETMAT for the same. We perform extensive experiments on multiple bipartite hypergraph datasets to show the superior performance of CATSETMAT, which we compare with multiple techniques from the state-of-the-art. Our results also elucidate information flow in self- and cross-attention scenarios.

연구 동기 및 목표

• 두 개의 분리된 노드 세트 간의 고차원 관계 구조인 이중 초그래프에 대한 기계 학습 연구의 부족을 해결한다.
• 기존의 초간선 임베딩 모델(예: Hyper-SAGNN)에서 발생하는 이중 초그래프에 적용할 경우 긍정-부정 레이블링 딜레마라는 심각한 결함을 규명한다.
• 이중 초간선 예측 문제를 집합 매칭(SETMAT) 문제로 재정의한다. 그 목표는 초간선에 함께 등장하는 왼쪽 및 오른쪽 노드의 부분집합을 매칭하는 데 있다.
• 왼쪽 및 오른쪽 초간선 세트 간의 상호작용을 모델링하기 위해 교차 어텐션을 활용하는 새로운 신경망 아키텍처인 CATSETMAT을 제안한다. 이는 관계 추론 능력을 향상시킨다.
• 이중 관계적 구조를 더 잘 포착하기 위해 자기 어텐션 메커니즘과 비교하여 교차 어텐션의 우수성을 입증하고, 정보 흐름에 대한 분석을 포함한 추론 실험을 수행한다.

제안 방법

• 이중 초간선 예측 문제를 집합 매칭 작업으로 설정한다: 왼쪽 및 오른쪽 초간선 세트가 주어졌을 때, 어떤 쌍이 유효한 이중 초간선을 형성하는지를 예측한다.
• 왼쪽 및 오른쪽 초간선 간의 모든 쌍에 대해 어텐션 점수를 계산하는 교차 어텐션 메커니즘을 도입하여 두 세트 간의 상호작용을 가능하게 한다.
• 왼쪽 및 오른쪽 초간선에서 쿼리, 키, 밸류 프로젝션을 사용하여 교차 어텐션 특징을 계산하는 신경망 아키텍처인 CATSETMAT을 설계한다.
• 다중 헤드 교차 어텐션을 사용하고, 잔차 연결 및 피드포워드 레이어를 적용하여 어텐션 기반 표현을 집계하고 개선한다.
• 긍정적인 초간선 쌍(실제 이중 초간선에서 유래)과 부정적인 쌍(크기 기반 무작위 샘플링을 통해 추출)을 구별하기 위한 대비 학습 목표를 적용한다.
• 최종 분류기 헤드를 적용하여 쌍이 유효한 이중 초간선인지 여부의 가능성을 예측하고, 엔드 투 엔드 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 교차 어텐션 메커니즘이 두 개의 분리된 노드 세트를 포함하는 이중 초그래프에서 고차원 관계를 효과적으로 모델링할 수 있는가?
• RQ2 이중 초간선 예측 작업에서 교차 어텐션은 자기 어텐션 메커니즘(예: Hyper-SAGNN)과 비교해 어떻게 성능을 냈는가?
• RQ3 이중 초그래프에서의 초간선 예측에 영향을 미치는 긍정-부정 레이블링 딜레마의 영향은 무엇이며, 이를 완화할 수 있는가?
• RQ4 이중 초간선 예측과 집합 매칭 간에 이론적 동치성이 존재하는가? 이는 모델 설계 향상에 활용될 수 있는가?
• RQ5 이중 초그래프 학습의 맥락에서 자기 어텐션과 교차 어텐션 간의 정보 흐름은 어떻게 다를까?

주요 결과

• CATSETMAT는 다양한 이중 초그래프 데이터셋에서 최신 기술(SOTA) 성능을 달성하며, Hyper-SAGNN 및 FSPool과 같은 기존 모델을 능가한다.
• Hyper-SAGNN에서 발생하는 긍정-부정 레이블링 딜레마로 인해 높은 분산(최대 13%)과 일반화 능력 저하가 발생하며, 특히 mag-acm-ak와 같은 도전적인 데이터셋에서 두드러진다.
• 크기 기반 무작위 샘플링 기반의 음성 샘플링 기법을 적용한 경우, Hyper-SAGNN는 mag-acm-ak에서 테스트 AUC 98%를 기록하여 원래 설정의 불안정성을 드러낸다.
• 추론 실험을 통해 교차 어텐션은 교차 세트 간의 상호작용을 포착하는 데 필수적임을 확인하였으며, 자기 어텐션 메커니즘은 이중 초간선의 진정된 관계적 구조를 모델링하지 못한다.
• 이중 초간선 예측과 집합 매칭 간의 이론적 동치성이 입증되어, 제안된 방법의 문제 재정의가 타당한 기초를 제공함을 확인하였다.
• 모델은 증상-질병, 영화-출연진, 학술 공동저자 네트워크 등 다양한 데이터셋에서 뛰어난 내구성과 일관된 성능을 보였다.