[논문 리뷰] Preventing Over-Smoothing for Hypergraph Neural Networks

Guanzi Chen, Jiying Zhang외 2명|arXiv (Cornell University)|2022. 03. 31.

Advanced Graph Neural Networks인용 수 7

한 줄 요약

이 논문은 초그래프 신경망에서 과도한 스무딩을 방지하기 위해 초기 잔차 연결과 항등 맵핑을 사용하는 딥 허브그래프 컨volution 네트워크인 Deep-HGCN을 제안한다. 임의의 계수를 가진 차수 k의 다항 스펙트럼 필터를 시뮬레이션할 수 있음을 이론적으로 증명하였으며, 깊은 층에서도 노드 표현의 이질성을 유지하고, 여러 초노드 분류 및 3D 객체 인식 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In recent years, hypergraph learning has attracted great attention due to its capacity in representing complex and high-order relationships. However, current neural network approaches designed for hypergraphs are mostly shallow, thus limiting their ability to extract information from high-order neighbors. In this paper, we show both theoretically and empirically, that the performance of hypergraph neural networks does not improve as the number of layers increases, which is known as the over-smoothing problem. To avoid this issue, we develop a new deep hypergraph convolutional network called Deep-HGCN, which can maintain the heterogeneity of node representation in deep layers. Specifically, we prove that a $k$-layer Deep-HGCN simulates a polynomial filter of order $k$ with arbitrary coefficients, which can relieve the problem of over-smoothing. Experimental results on various datasets demonstrate the superior performance of the proposed model compared to the state-of-the-art hypergraph learning approaches.

연구 동기 및 목표

• 그래프 컨volution 네트워크(GCN)에서 잘 알려진 바와 같이 초그래프 신경망(HGCNN)에서도 과도한 스무딩이 발생하는지 조사하기 위해.
• 랜덤 워크 수렴 및 딜리클레 에너지 최소화를 통한 HGCNN에서의 과도한 스무딩의 근본 원인 분석하기 위해.
• 더 깊은 층에서도 표현 이질성을 유지하는 진정으로 깊은 HGCNN 아키텍처 설계하기 위해.
• 제안된 모델이 임의의 차수 다항 스펙트럼 필터를 시뮬레이션할 수 있음을 이론적으로 정당화하기 위해.
• 초노드 분류 및 3D 객체 인식 작업에서 최신 기술 수준의 방법들과의 비교를 통해 Deep-HGCN의 우수성을 실증적으로 검증하기 위해.

제안 방법

• 각 층에서 입력 특징을 유지함으로써 노드 표현 다양성을 유지하는 초기 잔차 연결을 도입한다.
• 학습 가능한 가중치 행렬에 항등 행렬을 더하여 항등 맵핑을 적용함으로써 딜리클레 에너지의 수렴 속도를 늦춘다.
• 이론적 분석을 통해 k층의 Deep-HGCN 모델이 임의의 계수를 가진 차수 k의 다항 스펙트럼 필터를 표현할 수 있음을 증명한다.
• 안정적인 깊은 학습을 위해 초그래프 라플라시안 기반 메시지 패싱과 잔차 및 항등 구성 요소를 결합한 모델 아키텍처를 설계한다.
• 실증적 학습은 고정된 초기 학습률 0.01, 드롭아웃 비율 0.5, 그리고 100 에포크의 내성 정지 기준을 사용한다.
• 초파rameter α와 β는 부록에 자세히 기재된 범위 내에서 그리드 서치를 통해 튜닝된다.

실험 결과

연구 질문

• RQ1 초그래프 신경망에서 과도한 스무딩이 발생하는가? 만약 그렇다면 그 근본 원인은 무엇인가?
• RQ2 GCN의 발전에서 영감을 얻은 아키텍처 수정을 통해 HGCNN의 과도한 스무딩 문제를 완화할 수 있는가?
• RQ3 깊이가 증가함에 따라 깊은 HGCNN이 분류 가능한 노드 표현을 얼마나 오랫동안 유지할 수 있는가?
• RQ4 제안된 모델이 임의의 차수 다항 스펙트럼 필터를 시뮬레이션할 수 있으며, 이 성질이 과도한 스무딩을 방지하는 데 기여하는가?
• RQ5 다양한 초그래프 학습 작업에서 Deep-HGCN는 최신 기술 수준의 방법들과 비교해 성능 및 내성 면에서 어떻게 뛰어나게 되는가?

주요 결과

• 기본 HGNN 모델은 심각한 과도한 스무딩을 경험하며, 성능이 2~4층에서 최고에 도달하고 그 이후 급격히 악화된다.
• Cora, Citeseer, Pubmed, NTU2012, ModelNet40에 대해 각각 64, 8, 16, 64, 32, 64층에서 Deep-HGCN가 최고의 정확도를 기록하며 깊이 증가에 따라 일관된 향상을 보였다.
• NTU2012 데이터셋에서 Deep-HGCN는 64층에서 80.42%의 정확도를 기록했으며, HGNN의 5.25%에 비해 뚜렷한 성능 향상을 보였다.
• ModelNet40에서 Deep-HGCN는 64층에서 88.24%의 정확도를 달성했고, 동일한 깊이에서 HGNN의 4.13%보다 뛰어난 성능을 보였다.
• t-SNE 시각화 결과 Deep-HGCN는 깊은 층에서도 클래스 구분 가능한 노드 표현을 유지하는 반면, HGNN는 표현이 붕괴됨을 확인했다.
• 제거 실험 결과, 초기 잔차와 항등 맵핑 둘 다 필요하며, 이 둘의 조합이 가장 높은 성능과 가장 효과적인 과도한 스무딩 완화를 이끌어냈다.