[논문 리뷰] Deep Hyperedges: a Framework for Transductive and Inductive Learning on Hypergraphs

Josh Payne|arXiv (Cornell University)|2019. 10. 07.

Advanced Graph Neural Networks참고 문헌 41인용 수 11

한 줄 요약

이 논문은 랜덤 워크 기반 임베딩 방법을 통해 정점 소속 관계와 맥락 정보를 동시에 활용하는 새로운 프레임워크인 딥 하이퍼엣지(DHE)를 제안한다. DHE는 기준 및 비표준 하이퍼그래프 데이터셋에서 최신 기술(SOTA) 수준 또는 그 이상의 성능을 달성하며, CORUM 단백질 복합체 데이터셋에서 95.53%의 정확도와 균형 잡힌 Meetups 데이터셋에서 88.31%의 정확도를 기록한다.

ABSTRACT

From social networks to protein complexes to disease genomes to visual data, hypergraphs are everywhere. However, the scope of research studying deep learning on hypergraphs is still quite sparse and nascent, as there has not yet existed an effective, unified framework for using hyperedge and vertex embeddings jointly in the hypergraph context, despite a large body of prior work that has shown the utility of deep learning over graphs and sets. Building upon these recent advances, we propose extit{Deep Hyperedges} (DHE), a modular framework that jointly uses contextual and permutation-invariant vertex membership properties of hyperedges in hypergraphs to perform classification and regression in transductive and inductive learning settings. In our experiments, we use a novel random walk procedure and show that our model achieves and, in most cases, surpasses state-of-the-art performance on benchmark datasets. Additionally, we study our framework's performance on a variety of diverse, non-standard hypergraph datasets and propose several avenues of future work to further enhance DHE.

연구 동기 및 목표

• 정점 소속 관계와 맥락적 구조를 동시에 모델링할 수 있는 통합적이고 효과적인 하이퍼그래프 딥러닝 프레임워크의 부족을 해결하기 위해.
• 하이퍼그래프에서 전도적 및 인도적 학습을 모두 수행할 수 있는 확장성 있고 모듈러한 프레임워크를 개발하기 위해.
• 순열 불변 세트 학습과 맥락 인식 랜덤 워크를 통합하여 하이퍼그래프 분류 성능을 향상시키기 위해.
• 표준 벤치마크를 넘어서 다양한 비표준 하이퍼그래프 데이터셋에 프레임워크를 평가하기 위해.
• 미래에 컨volutional 및 스펙트럴 방법을 DHE 프레임워크 내부에 통합할 수 있는 기반을 마련하기 위해.

제안 방법

• 하이퍼그래프 내에서 맥락에 기반한 하이퍼엣지 임베딩을 생성하기 위해 새로운 랜덤 워크 절차인 TaS 워크(전이 인식 샘플링)를 제안한다.
• 정점 소속(순열 불변 세트 표현)과 맥락적 구조(랜덤 워크를 통한)를 위한 이중 인코딩 전략을 사용한다.
• 딥셋스 유사 아키텍처를 활용해 하이퍼엣지를 정점의 집합으로 모델링함으로써 소속 표현의 순열 불변성을 보장한다.
• TaS 워크에서 유도된 맥락 임베딩과 세트 기반 표현을 결합하여 분류를 위한 통합 하이퍼엣지 임베딩을 형성한다.
• 새로운 정점과 하이퍼엣지를 일반화할 수 있는 표현을 학습함으로써 전도적 및 인도적 학습을 모두 지원한다.
• 기존의 다른 임베딩 방법(예: 그래프 컨볼루션 포함)을 통합할 수 있는 모듈러한 설계를 채택하여 향후 확장성을 확보한다.

실험 결과

연구 질문

• RQ1 통합 프레임워크가 하이퍼그래프 내 정점 소속 관계와 맥락적 구조를 동시에 모델링하여 분류 성능을 향상시킬 수 있는가?
• RQ2 제안된 TaS 워크 랜덤 워크 절차가 기존의 하이퍼그래프 학습에서의 랜덤 워크 및 임베딩 방법과 비교해 어떻게 성능을 낼 수 있는가?
• RQ3 세트 소속과 맥락을 모두 통합할 경우, 비표준 실생활 하이퍼그래프 데이터셋에서 성능 향상이 어느 정도 이루어지는가?
• RQ4 DHE 프레임워크가 새로운 하이퍼엣지나 정점이 추가되는 인도적 학습 환경에서 효과적으로 일반화되는가?
• RQ5 다양한 하이퍼그래프 데이터 분포에서 DHE가 DeepSets + SaT 워크스 및 MLP + TaS 워크스와 같은 기준 모델보다 어떻게 비교되는가?

주요 결과

• Cora 인용 네트워크 데이터셋에서 DHE는 82.29%의 테스트 정확도를 기록하여 이 벤치마크에서 이전 방법들을 능가했다.
• PubMed 당뇨병 데이터셋에서 DHE는 82.35%의 테스트 정확도를 달성하여 생물의학적 하이퍼그래프 데이터에서 강력한 성능을 보였다.
• CORUM 단백질 복합체 데이터셋에서 DHE는 95.53%의 테스트 정확도를 기록하여 고카디널리티 신호를 지닌 생물학적 하이퍼그래프에서의 효과성을 입증했다.
• 균형 잡힌 Meetups 데이터셋에서 DHE는 88.31%의 테스트 정확도를 기록하여 이 소셜 네트워크 하이퍼그래프에서 기준 모델들을 크게 능가했다.
• 비균형적인 DisGeNet 질병-Genome 데이터셋에서 DHE는 특징 임베딩을 사용하지 않아도 40%의 테스트 정확도를 달성하여 클래스 불균형과 선형 가분성 불가능성에도 불구하고 뛰어난 강건성을 보였다.
• 비교 분석 결과, DHE는 모든 데이터셋에서 DeepSets + SaT 워크스 및 MLP + TaS 워크스를 일관되게 능가하거나 동등하게 유지했으며, 성능은 카디널리티와 맥락의 중요도에 따라 달라졌다.