[논문 리뷰] Descent Steps of a Relation-Aware Energy Produce Heterogeneous Graph Neural Networks

Hongjoon Ahn, Yongyi Yang외 3명|arXiv (Cornell University)|2022. 06. 22.

Advanced Graph Neural Networks인용 수 6

한 줄 요약

이 논문은 관계 인식 에너지 함수와 학습 가능한 호환성 행렬을 기반으로 한 기울기 하강 단계에서 유도된 메시지 전달 레이어를 갖는 새로운 이질적 그래프 신경망(HGNN)인 HALO를 제안한다. 다양한 이질성 관계를 모델링하고 에너지 최소화를 통해 수렴성을 확보함으로써, 깊은 아키텍처에서 과도한 스무딩을 방지하면서도 8개의 벤치마크에서 최신 기술(SOTA) 수준의 노드 분류 정확도를 달성한다.

ABSTRACT

Heterogeneous graph neural networks (GNNs) achieve strong performance on node classification tasks in a semi-supervised learning setting. However, as in the simpler homogeneous GNN case, message-passing-based heterogeneous GNNs may struggle to balance between resisting the oversmoothing that may occur in deep models, and capturing long-range dependencies of graph structured data. Moreover, the complexity of this trade-off is compounded in the heterogeneous graph case due to the disparate heterophily relationships between nodes of different types. To address these issues, we propose a novel heterogeneous GNN architecture in which layers are derived from optimization steps that descend a novel relation-aware energy function. The corresponding minimizer is fully differentiable with respect to the energy function parameters, such that bilevel optimization can be applied to effectively learn a functional form whose minimum provides optimal node representations for subsequent classification tasks. In particular, this methodology allows us to model diverse heterophily relationships between different node types while avoiding oversmoothing effects. Experimental results on 8 heterogeneous graph benchmarks demonstrates that our proposed method can achieve competitive node classification accuracy

연구 동기 및 목표

• 장거리 의존성을 포착하기 위해 너무 많은 레이어를 스택할 때 발생하는 깊은 이질적 GNN에서의 과도한 스무딩 문제를 해결한다.
• 기존 메시지 전달 GNN이 동질성(호모필리)을 가정함에 따라 이질적 그래프에서 서로 다른 노드 유형 간의 복잡한 이질성 관계를 모델링하지 못하는 한계를 극복한다.
• 차별화 가능하고 최적화 기반인 HGNN 아키텍처를 개발하여, 새로운 에너지 함수의 내림걸음 단계를 전개함으로써 스킵 커넥션을 자연스럽게 통합하고 특징 붕괴를 방지한다.
• 이중 최적화를 통해 에너지 함수의 기능 형태와 매개변수(관계별 호환성 행렬 포함)를 동시에 학습시켜 엔드 투 엔드 훈련을 가능하게 한다.
• 학습 가능한 호환성 행렬이 강한 이질성 또는 불균형한 노드 유형이 있는 설정에서 노드 분류 작업 성능을 크게 향상시킨다.

제안 방법

• 관계에 따라 달라지는 호환성 행렬을 사용하여 이질적 노드 임베딩을 정규화하는 관계 인식 에너지 함수를 제안하며, ZooBP와 같은 믿음 전파 기법을 영감으로 삼는다.
• 에너지 함수에 대한 기울기 하강 단계로 계층별 메시지 전달 규칙을 유도하여 적절한 학습률 조건 하에서 수렴성을 보장한다.
• 스킵 커넥션, 선형 특징 집합, 자기 순환 변환을 전파 규칙에 통합하며, 각 요소가 에너지 최소화 과정의 구성 요소로 해석 가능하다.
• 이중 최적화를 사용하여 에너지 함수 매개변수(호환성 행렬 포함)와 노드 표현을 동시에 학습시켜 엔드 투 엔드 훈련을 가능하게 한다.
• 일반화 성능 향상을 위해 비선형 전파 연산자로 프록시멀 기울기 하강(PGD)을 적용하였으며, 분석 결과 이 방법의 중요성이 입증되었다.
• 에너지 함수를 다음과 같이 구성하여 최소화자가 분류 작업에 적합한 구별 가능한 노드 표현을 도출하도록 한다.

실험 결과

연구 질문

• RQ1 관계 인식 호환성 행렬을 갖는 새로운 에너지 기반 프레임워크가 복잡한 이질성 관계를 가진 이질적 그래프에서 노드 표현 학습을 향상시킬 수 있는가?
• RQ2 제안된 에너지 최소화 프레임워크는 기존 메시지 전달 아키텍처와 비교해 깊은 이질적 GNN에서 과도한 스무딩을 어떻게 방지하는가?
• RQ3 학습 가능한 호환성 행렬은 고정 또는 항등 행렬과 비교해 노드 유형 간 관계 모델링에서 성능 향상에 얼마나 기여하는가?
• RQ4 전파 단계 수가 제안된 HALO 모델에서 수렴성, 정확도, 에너지 함수 최소화에 어떤 영향을 미치는가?
• RQ5 프록시멀 기울기 하강을 통한 비선형 활성화 도입이 이질적 그래프 학습에서 일반화 및 분류 정확도 향상에 기여하는가?

주요 결과

• HALO는 8개의 이질적 그래프 벤치마크에서 최신 기술(SOTA) 성능을 달성하며, ZooBP를 포함한 SOTA 모델들을 뛰어넘는 성능을 보였다. 특히 강한 이질성이 있는 노드 유형에서 뚜렷한 우월성을 보였다.
• DBLP-reduced 데이터셋에서 $k=18$일 때, HALO는 'Paper' 유형에서 97.81%의 정확도를 기록했고, 'Author' 유형에서는 84.73%를 기록하여 ZooBP의 81.76% 및 16.08%를 상회했다.
• ACM 데이터셋에서는 $k=4$일 때 HALO가 'Paper'에서 96.63%의 정확도, 'Author'에서 93.89%의 정확도를 기록했으며, ZooBP는 각각 79.63% 및 73.43%였다.
• 절단 분석 결과, 고정 또는 항등 행렬 대비 학습 가능한 호환성 행렬($\mathbf{H}_t$)을 사용할 경우 성능 향상이 확인되었으며, MUTAG 및 BGS에서 최대 15%의 향상이 있었다.
• 프록시멀 기울기 하강(PGD) 단계를 제거하면 성능이 크게 떨어지며(예: MUTAG에서 86.17% → 77.94%), 이는 일반화 성능 향상에 기여하는 역할을 함을 시사한다.
• 전파 단계 수가 늘어날수록 훈련 및 검증 정확도는 점진적으로 증가하고, 에너지 함수 값은 단조롭게 감소함으로써 수렴성과 효과적인 최소화가 확인되었다.