[논문 리뷰] Principled Hyperedge Prediction with Structural Spectral Features and Neural Networks

Changlin Wan, Muhan Zhang외 4명|arXiv (Cornell University)|2021. 06. 08.

Infrastructure Maintenance and Monitoring참고 문헌 40인용 수 10

한 줄 요약

이 논문은 이원 그래프 신경망과 구조적 스펙트럼 특징을 결합하여 초그래프 표현 학습에서 간선 수준 및 노드 수준의 모호성을 동시에 해결하는 새로운 프레임워크인 SNALS를 제안한다. 국소 스펙트럼 정보를 통해 상호작용을 공동으로 포착함으로써, 합성 및 3D 게놈 상호작용 데이터 모두에서 최신 기술 대비 약 30% 향상된 성능을 달성한다.

ABSTRACT

Hypergraph offers a framework to depict the multilateral relationships in real-world complex data. Predicting higher-order relationships, i.e hyperedge, becomes a fundamental problem for the full understanding of complicated interactions. The development of graph neural network (GNN) has greatly advanced the analysis of ordinary graphs with pair-wise relations. However, these methods could not be easily extended to the case of hypergraph. In this paper, we generalize the challenges of GNN in representing higher-order data in principle, which are edge- and node-level ambiguities. To overcome the challenges, we present SNALS that utilizes bipartite graph neural network with structural features to collectively tackle the two ambiguity issues. SNALS captures the joint interactions of a hyperedge by its local environment, which is retrieved by collecting the spectrum information of their connections. As a result, SNALS achieves nearly 30% performance increase compared with most recent GNN-based models. In addition, we applied SNALS to predict genetic higher-order interactions on 3D genome organization data. SNALS showed consistently high prediction accuracy across different chromosomes, and generated novel findings on 4-way gene interaction, which is further validated by existing literature.

연구 동기 및 목표

• 초그래프와 일반 그래프 간의 구조적 차이에서 기인하는 간선 수준 및 노드 수준의 모호성으로 인해 초간선 예측의 핵심 과제를 정식화한다.
• 두 가지 모호성 유형을 동시에 해결하는 원칙적인 방법을 개발하여 초간선 표현 학습을 향상시킨다.
• 국소 초간선 환경의 스펙트럼 정보를 통합함으로써 고차원 관계를 위한 GNN의 표현 능력을 강화한다.
• 실제 3D 게놈 조직 구조 데이터를 대상으로 모델을 검증하여 생물학적으로 타당한 고차원 유전자 상호작용을 예측할 수 있음을 입증한다.

제안 방법

• SNALS는 초간선와 그에 속한 노드 간의 상호작용을 모델링하기 위해 이원 그래프 신경망을 사용하며, 초간선의 구조를 명시적으로 표현함으로써 간선 수준의 모호성을 해결한다.
• 각 초간선의 국소 주변 환경에서 유도된 구조적 스펙트럼 특징을 통합하여 공동 의존성과 노드 수준의 모호성을 완화한다.
• 스펙트럼 특징는 각 초간선과 그 노드에 의해 유도되는 이원 부분그래프의 라플라시안 스펙트럼을 사용하여 계산되며, 위상적 맥락을 인코딩한다.
• 모델는 이중 스트림 아키텍처를 사용한다: 하나는 노드 수준의 집계를 위해, 다른 하나는 이원 메시지 전파를 통해 초간선 수준의 표현을 위해 사용된다.
• 학습 중 일반화를 향상시키기 위해, 각 긍정 초간선당 다섯 개의 음성 초간선을 사용하여 음성 샘플링을 적용한다.
• 모델 성능을 최적화하기 위해 다양한 데이터셋에서 광범위한 초모수 튜닝을 수행한다.

실험 결과

연구 질문

• RQ1 기존의 GNN 기반 초간선 예측 모델에서 간선 수준 및 노드 수준의 모호성이 성능에 어떤 제약을 끼치는가?
• RQ2 구조적 및 스펙트럼 모델링을 통해 두 가지 모호성 유형을 통합된 프레임워크로 효과적으로 해결할 수 있는가?
• RQ3 국소 초간선 환경의 스펙트럼 정보를 통합함으로써 초그래프 내 표현 학습이 향상되는가?
• RQ4 SNALS는 다양한 생물학적 및 합성 초그래프 데이터셋에서 일관된 성능을 유지하며 일반화 가능한가?
• RQ5 기존 문헌에 의해 검증된 바 있는 3D 게놈 데이터에서 SNALS는 생물학적으로 의미 있는 고차원 유전자 상호작용을 예측할 수 있는가?

주요 결과

• SNALS는 초간선 예측 벤치마크에서 가장 강력한 베이스라인인 FamilySet 대비 평균 30% 향상된 성능을 달성한다.
• setSEAL과 같은 강력한 최신 기술 대비 13% 향상된 성능을 보이며, 두 가지 모호성 유형을 동시에 해결하는 데 효과적임을 입증한다.
• 국소 스펙트럼 특징를 추가한 경우(SNALS(f₁)) 성능 향상이 더욱 두드러지며, 특히 threds 데이터셋에서 그 중요성이 확인된다.
• 3D 게놈 데이터에서는 SNALS가 모든 17条 자율염색체에서 일관되고 안정적인 AUC 성능을 유지하는 반면, setSEAL은 특정 염색체에 대한 편향을 보였다.
• SNALS는 염색체 11의 TAD 내에 위치하고 있으며, 공동 조절 유전자인 Map2k6와 Kcnj2와 연결된 바이너리 5521, 5589, 5602, 5630를 포함하는 새로운 4항 유전자 상호작용을 예측하였으며, 기존 문헌에 의해 검증되었다.
• 상위 예측된 4항 상호작용은 생물학적으로 타당하며, 에너지 조절 유전자(E0524334)와 공조절 유전자를 포함하고 있어 기능적 관련성이 있을 것으로 추정된다.