[논문 리뷰] SHGNN: Structure-Aware Heterogeneous Graph Neural Network

Wentao Xu, Yingce Xia외 4명|arXiv (Cornell University)|2021. 12. 12.

Advanced Graph Neural Networks인용 수 5

한 줄 요약

이 논문은 메타패스 기반 그래프 임베딩을 향상시키기 위해 노드 중심성과 그래프 구조 정보를 특성 전파 모듈과 트리 어텐션 어그리게이터를 통해 통합하는 구조 인식형 이질적 그래프 신경망인 SHGNN을 제안한다. 이 방법은 IMDB, DBLP, ACM과 같은 벤치마크 데이터셋에서 노드 분류 및 클러스터링 작업에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Many real-world graphs (networks) are heterogeneous with different types of nodes and edges. Heterogeneous graph embedding, aiming at learning the low-dimensional node representations of a heterogeneous graph, is vital for various downstream applications. Many meta-path based embedding methods have been proposed to learn the semantic information of heterogeneous graphs in recent years. However, most of the existing techniques overlook the graph structure information when learning the heterogeneous graph embeddings. This paper proposes a novel Structure-Aware Heterogeneous Graph Neural Network (SHGNN) to address the above limitations. In detail, we first utilize a feature propagation module to capture the local structure information of intermediate nodes in the meta-path. Next, we use a tree-attention aggregator to incorporate the graph structure information into the aggregation module on the meta-path. Finally, we leverage a meta-path aggregator to fuse the information aggregated from different meta-paths. We conducted experiments on node classification and clustering tasks and achieved state-of-the-art results on the benchmark datasets, which shows the effectiveness of our proposed method.

연구 동기 및 목표

• 이질적 그래프 임베딩에서 그래프 구조 정보를 간과하는 기존 메타패스 기반 방법의 한계를 해결한다.
• 노드 중심성을 구조적 중요도 측정 지표로 활용하여 표현 학습을 향상시킨다.
• 정보 집계 과정에서 공통된 중간 노드를 공유하는 메타패스 인스턴스 간의 구조적 종속성을 모델링한다.
• 고립된 메타패스 인스턴스를 초월한 구조적 맥락을 포착하는 새로운 집계 메커니즘을 개발한다.
• 구조 인식 표현을 활용하여 노드 분류 및 클러스터링과 같은 후행 작업에서 향상된 성능을 입증한다.

제안 방법

• 메타패스 내 중간 노드 주변의 국소적 구조 정보를 캡처하기 위해 특성 전파 모듈을 도입한다.
• 공통된 중간 노드를 공유하는 메타패스 인스턴스 간의 종속성을 모델링하는 트리 어텐션 어그리게이터를 설계한다.
• 노드의 그래프 내 위치에 기반해 노드 중심성 지표 $c(v)$ 및 $c^+(v)$를 사용해 노드의 구조적 중요도를 인코딩한다.
• 학습된 어텐션 가중치를 사용해 다수의 메타패스에서 유래한 표현을 융합하기 위해 메타패스 어그리게이터를 적용한다.
• 구조 인코딩과 트리 어텐션을 종합적으로 통합한 엔드 투 엔드 GNN 프레임워크를 구축해 이질적 그래프 표현 학습을 수행한다.
• 벤치마크 데이터셋에서 지도 학습 기반의 노드 분류 및 클러스터링 목표를 사용해 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 노드 중심성을 통합함으로써 이질적 그래프 임베딩의 품질을 향상시킬 수 있는가?
• RQ2 겹치는 메타패스 인스턴스 간의 구조적 종속성을 모델링하면 표현 학습이 향상되는가?
• RQ3 표준 어텐션 메커니즘과 비교해 트리 어텐션 어그리게이터가 메타패스 기반 특징 집계에 어떻게 성능을 높이는가?
• RQ4 SHGNN은 노드 분류 및 클러스터링 작업에서 기존 최신 기술 수준의 방법보다 얼마나 뛰어나게 성능을 향상시키는가?
• RQ5 아블레이션 연구를 통해 구조 정보가 최종 임베딩 품질에 기여하는 정도는 어느 정도인가?

주요 결과

• IMDB 데이터셋에서 이전 최신 기술 수준의 방법 대비 NMI는 5% 상대적 향상, ARI는 20% 향상되었다.
• ACM 데이터셋에서 SHGNN는 MAGNN-AC 모델 대비 NMI를 약 8% 향상시키고 ARI를 7% 향상시켰다.
• 아블레이션 연구는 노드 중심성 인코딩과 트리 어텐션 어그리게이터 모두 성능 향상에 크게 기여함을 확인했으며, 특히 DBLP 데이터셋에서 두드러진 효과를 보였다.
• 노드 중심성 지표 $c(v)$와 $c^+(v)$를 포함함으로써 Macro-F1은 0.89% 향상되고, Micro-F1은 0.95% 향상되었다. 이는 이를 제거했을 경우 대비 성능 향상을 의미한다.
• t-SNE를 사용한 시각화 결과, SHGNN 임베딩은 MAGNN 및 MAGNN-AC 대비 서로 다른 클래스의 노드를 더 잘 분리하는 경향을 보였다.
• 트리 어텐션 어그리게이터만을 사용해도 DBLP 데이터셋에서 Macro-F1은 1.2% 향상되고, Micro-F1은 1.0% 향상되어, 구조적 맥락을 효과적으로 모델링함을 시사한다.