[논문 리뷰] Hyper-SAGNN: a self-attention based graph neural network for hypergraphs

Ruochi Zhang, Yuesong Zou외 1명|arXiv (Cornell University)|2019. 11. 06.

Advanced Graph Neural Networks참고 문헌 27인용 수 31

한 줄 요약

Hyper-SAGNN는 동일한 크기의 하이퍼엣지가 아닌 다양한 크기의 하이퍼엣지를 처리할 수 있는 자기주의 기반의 그래프 신경망으로, 동일한 하이퍼그래프와 이질적인 하이퍼그래프를 모두 다룰 수 있다. 노드 분류, 링크 예측, 그리고 새로운 외부자 식별 작업에서 최신 기술들을 능가하며, 단일세포 Hi-C 데이터셋에서 3차원 게놈 조직 패턴을 포착함으로써 뛰어난 클러스터링 성능을 보였다.

ABSTRACT

Graph representation learning for hypergraphs can be used to extract patterns among higher-order interactions that are critically important in many real world problems. Current approaches designed for hypergraphs, however, are unable to handle different types of hypergraphs and are typically not generic for various learning tasks. Indeed, models that can predict variable-sized heterogeneous hyperedges have not been available. Here we develop a new self-attention based graph neural network called Hyper-SAGNN applicable to homogeneous and heterogeneous hypergraphs with variable hyperedge sizes. We perform extensive evaluations on multiple datasets, including four benchmark network datasets and two single-cell Hi-C datasets in genomics. We demonstrate that Hyper-SAGNN significantly outperforms the state-of-the-art methods on traditional tasks while also achieving great performance on a new task called outsider identification. Hyper-SAGNN will be useful for graph representation learning to uncover complex higher-order interactions in different applications.

연구 동기 및 목표

• 기존 하이퍼그래프 모델이 일반적인 방식으로 크기가 변하는 이질적인 하이퍼엣지를 처리할 수 없는 한계를 해결하기 위해.
• 임의의 하이퍼엣지 크기를 가진 동일한 하이퍼그래프와 이질적인 하이퍼그래프 모두에 적용 가능한 통합된 하이퍼그래프 표현 학습 프레임워크를 개발하기 위해.
• 고정된 크기의 입력이나 이원 간선으로 분해할 필요 없이, 새로운 종류나 크기의 하이퍼엣지를 종단 간 예측할 수 있도록 하기 위해.
• 노드 분류, 링크 예측, 그리고 새로운 외부자 식별 작업과 같은 후행 작업에서 성능을 향상시키기 위해.
• 단일세포 Hi-C 데이터셋에 효과적으로 적용하여 3차원 게놈 조직을 밝혀내고 세포 집단의 클러스터링을 수행하기 위해.

제안 방법

• Hyper-SAGNN는 각 하이퍼엣지 내의 노드 간 기능을 동적으로 집계하기 위해 자기주의 기반의 메커니즘을 사용하여, 크기가 변하는 하이퍼엣지에 대한 융통성 있는 모델링을 가능하게 한다.
• 모델는 입력이 최대 하이퍼엣지 크기로 제한되는 그래프 주목 기반 네트워크(GAT)의 변종을 사용하여 계산 효율성을 확보한다.
• 정적 및 동적 노드 임베딩을 모두 지원하며, 정적 임베딩은 노드마다 고정되고, 동적 임베딩은 각 하이퍼엣지 튜플에 대해 별도로 계산된다.
• 하이퍼엣지 분해를 피하기 위해 다층 퍼셉트론(MLP)을 사용하여 직접적으로 전체 튜플 간 관계를 모델링한다.
• 노드 수준과 하이퍼엣지 수준의 예측 작업을 동시에 최적화함으로써 다중 작업 학습을 가능하게 한다.
• 단일세포 Hi-C 데이터에 적용하기 위해 염색체 접촉 패턴을 하이퍼그래프로 표현하고, 그래프 오토에인코더 아키텍처를 통해 임베딩을 학습한다.

실험 결과

연구 질문

• RQ1 하이퍼엣지를 이원 간 엣지로 분해할 필요 없이, 이질적이고 크기가 변하는 하이퍼엣지를 효과적으로 모델링할 수 있는가?
• RQ2 Hyper-SAGNN의 자기주의 기반 메커니즘이 고정 크기 또는 분해 가능한 모델에 비해 하이퍼그래프 표현 학습 성능을 향상시키는가?
• RQ3 실제 데이터셋에서 다양한 구조적 특성을 가진 경우에도 Hyper-SAGNN가 새로운 하이퍼엣지 종류나 크기로 일반화할 수 있는가?
• RQ4 외부자 식별과 같은 새로운 작업에서 Hyper-SAGNN의 성능은 어떠한가? 여기서 목표는 어떤 알려진 하이퍼엣지도 속하지 않는 노드를 탐지하는 것이다.
• RQ5 Hyper-SAGNN는 세포 유형 특이적인 3차원 게놈 조직과 같은 생물학적으로 의미 있는 패턴을 단일세포 Hi-C 데이터에서 얼마나 잘 포착할 수 있는가?

주요 결과

• Hyper-SAGNN는 네 개의 벤치마크 네트워크 데이터셋에서 노드 분류 및 링크 예측 작업에서 DHNE 및 기타 최신 기술들을 뛰어넘는 성능을 보였다.
• 새로운 외부자 식별 작업에서 Hyper-SAGNN는 강력한 성능을 기록하여, 어떤 알려진 하이퍼엣지도 속하지 않는 노드를 탐지할 수 있음을 입증했다.
• 단일세포 Hi-C 데이터셋에서 Ramani 등이 발표한 데이터에서는 Adjusted Rand Index(ARI)가 0.83으로 가장 높았으며, HiC-Rep/MDS 및 scHiCluster를 능가했다.
• Nagano 등이 발표한 데이터셋에서는 ACROC 점수 0.89를 기록하여 HiC-Rep/MDS와 유사한 성능을 보였으며, 세포 주기 진행 패턴을 잘 포착함을 시사했다.
• UMAP 및 PCA를 사용한 임베딩 시각화 결과, 세포 유형에 따라 명확한 클러스터링이 관찰되었으며, 혈액 관련 세포주(예: HAP1, GM12878, K562)가 함께 군집되어 있었다.
• Ramani 등이 발표한 데이터셋에서 지도 기반 다중 클래스 분류 설정에서 Micro-F1(0.91)과 Macro-F1(0.87) 점수가 매우 높아, 학습된 표현의 품질을 확인했다.