[논문 리뷰] Line Hypergraph Convolution Network: Applying Graph Convolution for Hypergraphs

Sambaran Bandyopadhyay, Kishalay Das외 1명|arXiv (Cornell University)|2020. 02. 09.

Advanced Graph Neural Networks참고 문헌 33인용 수 21

한 줄 요약

이 논문은 선형 하이퍼그래프 컨볼루션 네트워크(LHCN)를 제안하며, 하이퍼그래프를 가중치가 부여되고 특징이 부여된 선 그래프로 변환하여 그래프 컨볼루션을 하이퍼그래프에 적용함으로써 효과적인 노드 분류 및 표현 학습을 가능하게 한다. LHCN는 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하여 Cora에서 기존 하이퍼그래프 신경망보다 최대 8.4% 높은 성능을 보이며, t-SNE 시각화에서 뛰어난 군집 품질을 보여준다.

ABSTRACT

Network representation learning and node classification in graphs got significant attention due to the invent of different types graph neural networks. Graph convolution network (GCN) is a popular semi-supervised technique which aggregates attributes within the neighborhood of each node. Conventional GCNs can be applied to simple graphs where each edge connects only two nodes. But many modern days applications need to model high order relationships in a graph. Hypergraphs are effective data types to handle such complex relationships. In this paper, we propose a novel technique to apply graph convolution on hypergraphs with variable hyperedge sizes. We use the classical concept of line graph of a hypergraph for the first time in the hypergraph learning literature. Then we propose to use graph convolution on the line graph of a hypergraph. Experimental analysis on multiple real world network datasets shows the merit of our approach compared to state-of-the-arts.

연구 동기 및 목표

• 기존 GCN가 이원 간선 가정을 하므로 임의의 하이퍼엣지 크기를 가진 하이퍼그래프에 그래프 컨볼루션 네트워크(GCN)를 적용하는 데 도전하는 문제를 해결하기 위해.
• 기존의 고전적 그래프 이론을 새로운 딥러닝 맥락에서 활용하기 위해 하이퍼그래프의 선 그래프를 하이퍼그래프 학습을 위한 새로운 표현으로 탐색하기 위해.
• 비균일한 하이퍼그래프를 지원하고 엔드 투 엔드 노드 분류 및 표현 학습을 가능하게 하는 방법을 개발하기 위해.
• 더 표현력 있고 구조적으로 충실한 하이퍼그래프 데이터 변환을 도입하여 기존 하이퍼그래프 신경망을 향상시키기 위해.
• 연구를 촉진하기 위해 재현 가능하고 공개된 구현을 제공하기 위해.

제안 방법

• 각 하이퍼엣지가 노드가 되고, 공통 노드를 적어도 하나 공유하는 인접한 하이퍼엣지들이 연결되는 방식으로 하이퍼그래프를 선 그래프로 변환한다.
• 노드 및 하이퍼엣지 간의 관계를 기반으로 특징을 할당하여 가중치가 부여되고 특징이 부여된 선 그래프를 구축함으로써 구조적 및 의미적 정보를 유지한다.
• 선 그래프에 두 층의 그래프 컨볼루션 네트워크(GCN)를 적용하여 하이퍼엣지 이웃 영역의 특징을 집계한다.
• 노드 분류를 위해 선 그래프의 노드에서 원래 하이퍼그래프의 노드로 예측을 역방향 매핑 전략을 사용해 전파한다.
• 학습률 감소를 적용한 Adam 옵timizer를 사용하여 손실 함수를 최소화함으로써 모델을 최적화한다. 손실 함수는 레이블이 부여된 노드에서 교차 엔트로피 손실을 기반으로 한다.
• 학습된 하이퍼노드 표현의 군집 품질을 평가하기 위해 t-SNE를 사용하여 시각화한다.

실험 결과

연구 질문

• RQ1 변동하는 하이퍼엣지 크기를 가진 하이퍼그래프에 대해 고전적인 선 그래프 개념을 효과적으로 활용하여 그래프 컨볼루션을 적용할 수 있는가?
• RQ2 표준 노드 분류 벤치마크에서 LHCN의 성능은 최신 기술 수준의 하이퍼그래프 신경망과 비교해 어떻게 되는가?
• RQ3 선 그래프 변환이 효과적인 표현 학습 및 분류를 지원하기 위해 충분한 구조적 및 의미적 정보를 유지하는가?
• RQ4 반감독 설정에서 다양한 학습 세트 크기 변화에 따라 모델의 성능은 어떻게 변화하는가?
• RQ5 LHCN에서 학습된 표현은 좋은 클래스 분리성으로 시각적으로 해석될 수 있는가?

주요 결과

• Cora 데이터셋에서 LHCN는 테스트 정확도 73.34% ± 1.7을 달성하여 가장 가까운 베이스라인(HyperGCN)보다 약 8.4% 높은 성능을 보였다.
• Citeseer에서 LHCN는 63.19% ± 2.23을 기록하여 HyperGCN 및 기타 베이스라인보다 약간 향상된 성능을 보였다.
• Pubmed에서 LHCN는 70.76% ± 2.36를 달성하여 최신 기술 수준의 HyperGCN 모델과 비교해도 강력한 성능을 보였다.
• LHCN의 학습 손실은 급격히 감소하고 부드럽게 수렴하여 적응형 학습률 스케줄링을 통한 안정적인 최적화를 나타낸다.
• 학습 세트 크기를 50%에서 95%로 늘일 경우 분류 정확도가 뚜렷하고 일관되게 향상되어 레이블이 부여된 데이터의 효과적인 활용을 확인할 수 있었다.
• LHCN가 생성한 표현의 t-SNE 시각화 결과는 명확한 클래스 분리를 보이며, 높은 품질의 구분력 있는 노드 임베딩임을 시사한다.