[논문 리뷰] R-GSN: The Relation-based Graph Similar Network for Heterogeneous Graph

Xinliang Wu, Mengying Jiang외 1명|arXiv (Cornell University)|2021. 03. 14.

Advanced Graph Neural Networks참고 문헌 18인용 수 6

한 줄 요약

이 논문은 수동적인 메타패스 정의가 필요 없는 이질적 그래프를 위한 관계 기반 그래프 유사도 네트워크인 R-GSN을 제안한다. 유사도 기반 집합 기반 메커니즘인 SIM-ATTN 및 SIM를 도입하고, 정규화 및 적응형 특징 초기화를 함께 적용함으로써, R-GSN은 ogbn-mag 데이터셋에서 SOTA 성능을 달성하여 검증 정확도에서 R-GCN보다 4.21% 향상되고 테스트 정확도에서 3.54% 향상되었다.

ABSTRACT

Heterogeneous graph is a kind of data structure widely existing in real life. Nowadays, the research of graph neural network on heterogeneous graph has become more and more popular. The existing heterogeneous graph neural network algorithms mainly have two ideas, one is based on meta-path and the other is not. The idea based on meta-path often requires a lot of manual preprocessing, at the same time it is difficult to extend to large scale graphs. In this paper, we proposed the general heterogeneous message passing paradigm and designed R-GSN that does not need meta-path, which is much improved compared to the baseline R-GCN. Experiments have shown that our R-GSN algorithm achieves the state-of-the-art performance on the ogbn-mag large scale heterogeneous graph dataset.

연구 동기 및 목표

• 기존의 이질적 그래프 신경망이 수동적인 메타패스 설계에 크게 의존하는 데서 비롯하는 한계를 해결한다. 이는 노력이 많이 들고 확장하기 어려운 문제이다.
• 이질적 그래프 내에서 메시지 전파를 통합하고 형식화하는 일반적인 이질적 메시지 전파 프레임워크를 개발한다.
• 메타패스가 필요 없는 종단 간으로 확장 가능한 GNN 모델인 R-GSN을 설계하여 ogbn-mag와 같은 대규모 데이터셋에 적용할 수 있도록 한다.
• 새로운 유사도 기반 집합 기반 메커니즘과 정규화 기법을 도입하여 노드 분류 작업의 성능을 향상시킨다.
• ogbn-arxiv, IMDB, DBLP를 포함한 다양한 벤치마크에서 광범위한 분석 및 비교 연구를 통해 제안된 방법의 효과성을 입증한다.

제안 방법

• 사람, 관계, 상태 간 메시지 전파를 위한 네 단계로 구성된 일반적인 이질적 메시지 전파 프레임워크를 제안한다: 메시지 변환, 내관계 집합, 간관계 집합, 상태 갱신.
• 관계 간에 유사도 기반 메시지 집합을 수행하는 두 가지 새로운 집합 기반 메커니즘인 SIM-ATTN(주의 기반)과 SIM(주의 미사용)을 설계한다.
• 학습 안정성 향상과 성능 향상을 위해 다중 단계에서 정규화 연산을 통합하고, 분석 실험을 통해 검증한다.
• FLAG 적대적 훈련 방법을 적용하고, 특징이 없는 노드의 경우 사전 전파를 통해 초기 특징을 생성함으로써, 특히 ogbn-mag에서 효과적이다.
• 대규모 그래프에서 훈련 시 메모리 제약을 다루기 위해 이웃 샘플링 기반의 간소화된 하위그래프 샘플링 전략을 구현한다.
• R-GSN을 동질적 버전(GSN)과 메타패스 인식 버전(M-GSN)으로 확장하여 더 넓은 평가 및 분석을 수행한다.

실험 결과

연구 질문

• RQ1 기존의 이질적 GNN을 통합하고 일반화할 수 있는 일반적인 이질적 메시지 전파 프레임워크를 수립할 수 있는가?
• RQ2 메타패스에 의존하지 않는 GNN 아키텍처인 R-GSN이 대규모 이질적 그래프에서 메타패스에 의존하는 모델보다 더 높은 성능과 확장성을 달성할 수 있는가?
• RQ3 제안된 SIM-ATTN 및 SIM 집합 기반 메커니즘이 기존의 메시지 전파 및 주의 기반 집합과 비교해 얼마나 효과적인가?
• RQ4 정규화, 적대적 훈련(FLAG), 사전 전파 기반 특징 초기화의 영향은 모델 성능과 안정성에 어떤가?
• RQ5 제안된 방법은 ogbn-arxiv, IMDB, DBLP와 같은 다양한 이질적 그래프 벤치마크에서 일반화 가능한가?

주요 결과

• R-GSN은 ogbn-mag 데이터셋에서 검증 정확도 51.82%와 테스트 정확도 50.32%를 기록하여 기준 모델인 R-GCN보다 각각 4.21%와 3.54% 높은 성능을 달성했다.
• SIM-ATTN 및 SIM 집합 기반 메커니즘은 표준 R-GCN 및 기타 기준 모델보다 성능 향상을 크게 이룩했으며, IMDB와 DBLP에서 모든 학습/테스트 분할에서 M-GSN이 상위 3개 이내의 결과를 기록했다.
• 정규화 연산은 성능에 결정적인 영향을 미치며, 분석 실험을 통해 정규화 없이 학습된 모델이 유의미하게 성능이 열 劣한 것으로 확인되었다.
• FLAG 적대적 훈련 방법과 사전 전파 기반 특징 초기화가 모델 일반화 능력과 성능 향상에 기여하며, 특히 ogbn-mag에서 두드러진 효과를 보였다.
• R-GSN의 동질적 버전(GSN)과 메타패스 인식 버전(M-GSN)은 제안된 집합 기반 메커니즘이 다양한 그래프 유형과 벤치마크에서 효과적이고 일반화 가능한지를 검증했다.