[논문 리뷰] Hybrid Micro/Macro Level Convolution for Heterogeneous Graph Learning

Le Yu, Leilei Sun외 4명|arXiv (Cornell University)|2020. 12. 29.

Advanced Graph Neural Networks참고 문헌 37인용 수 8

한 줄 요약

이 논문은 이질적 그래프에서 노드 표현을 학습하기 위해 미세 수준과 거시 수준의 혼합 컨볼루션을 사용하는 새로운 이질적 그래프 컨볼루션 방법인 HGConv를 제안한다. 이 방법은 관계 내에서 노드 중요도를 함께 모델링하고 관계 간의 차이를 구분함으로써 노드 표현을 학습한다. 이 접근법은 노드 분류, 클러스터링, 링크 예측 작업에서 최고 성능을 달성하면서도 학습된 주의 점수를 통해 직관적인 해석 가능성을 제공한다.

ABSTRACT

Heterogeneous graphs are pervasive in practical scenarios, where each graph consists of multiple types of nodes and edges. Representation learning on heterogeneous graphs aims to obtain low-dimensional node representations that could preserve both node attributes and relation information. However, most of the existing graph convolution approaches were designed for homogeneous graphs, and therefore cannot handle heterogeneous graphs. Some recent methods designed for heterogeneous graphs are also faced with several issues, including the insufficient utilization of heterogeneous properties, structural information loss, and lack of interpretability. In this paper, we propose HGConv, a novel Heterogeneous Graph Convolution approach, to learn comprehensive node representations on heterogeneous graphs with a hybrid micro/macro level convolutional operation. Different from existing methods, HGConv could perform convolutions on the intrinsic structure of heterogeneous graphs directly at both micro and macro levels: A micro-level convolution to learn the importance of nodes within the same relation, and a macro-level convolution to distinguish the subtle difference across different relations. The hybrid strategy enables HGConv to fully leverage heterogeneous information with proper interpretability. Moreover, a weighted residual connection is designed to aggregate both inherent attributes and neighbor information of the focal node adaptively. Extensive experiments on various tasks demonstrate not only the superiority of HGConv over existing methods, but also the intuitive interpretability of our approach for graph analysis.

연구 동기 및 목표

• 기존 그래프 컨볼루션 방법의 이질적 그래프 처리 능력에 한계가 있음을 해결하기 위해, 이질적 성질의 완전한 활용과 구조 정보 손실 문제를 해결한다.
• 이전의 이질적 그래프 학습 방법에서의 해석 가능성 부족과 수동 설계에 의존하는 문제를 해결한다.
• 미세 수준과 거시 수준에서 이질적 그래프의 본질적 구조에 직접 컨볼루션을 수행하는 통합 프레임워크를 개발한다.
• 가중치가 부여된 잔차 연결을 통해 노드 특성과 이웃 정보의 적응형 집합을 가능하게 한다.
• 하류의 그래프 분석 작업을 위한 다수준 표현을 내재된 해석 가능성을 갖도록 학습하는 모델을 제공한다.

제안 방법

• HGConv는 하이브리드 컨볼루션 전략을 사용한다: 미세 수준 컨볼루션은 유형별 변환 행렬과 주의 벡터를 사용하여 동일한 관계 내에서 노드 중요도를 학습한다.
• 거시 수준 컨볼루션은 관계 유형별 변환 행렬과 공유 주의 벡터를 사용하여 관계 간의 차이를 구분한다.
• 모델은 가중치가 부여된 잔차 연결을 통해 노드 특성과 이웃 정보를 적응형으로 융합한다.
• 주의 메커니즘은 미세 수준과 거시 수준 모두에서 중심 노드에 대한 관련성에 기반해 이웃에 중요도 점수를 할당하는 데 사용된다.
• 잔차 연결을 통한 다층 스태킹 아키텍처는 과적합을 방지하면서 깊은 표현 학습을 가능하게 한다.
• 이 방법은 엔드 투 엔드로 훈련 가능하며, 노드 특성과 관계 구조 정보를 모두 유지하도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 미세/거시 수준 혼합 컨볼루션 전략은 이질적 그래프 내의 이질적 정보를 효과적으로 포착할 수 있는가?
• RQ2 노드 분류, 클러스터링, 링크 예측 작업에서 제안된 방법은 기존 방법과 비교해 성능가 어떻게 다른가?
• RQ3 HGConv의 주의 점수는 그래프 분석에 대해 얼마나 직관적이고 의미 있는 해석 가능성을 제공하는가?
• RQ4 헤우리스틱 전략(예: 무작위 보행)을 사용하는 방법과 비교해 모델 아키텍처가 구조 정보를 더 잘 유지하는가?
• RQ5 가중치가 부여된 잔차 연결은 표현 학습에서 노드 특성과 이웃 정보를 효과적으로 균형 잡는가?

주요 결과

• HGConv는 ACM-3, DBLP, IMDB 등의 다수의 벤치마크 데이터셋에서 노드 분류, 클러스터링, 링크 예측 작업에서 최고 성능을 달성한다.
• 레이어 수가 증가함에 따라 성능이 향상되다가 어느 지점 이후 과적합이 발생함을 확인하여 표현 학습에 최적의 깊이가 존재함을 시사한다.
• 주의 헤드 수를 늘일수록 성능이 최대치(예: 4개 이상)에 도달할 때까지 향상되며, 이후 안정화됨을 확인하여 중간 수준의 헤드 수로도 충분한 표현력이 확보됨을 시사한다.
• 최적의 노드 표현 차원은 64에서 256 사이에 위치하며, 64가 최적의 설정으로 선정됨. 높은 차원에서는 과적합으로 인해 성능 저하가 발생함.
• 미세 수준 컨볼루션은 학습된 주의 점수를 기반으로 관계 내에서 더 관련성이 높은 노드(예: 핵심 저자, 주제 관련 关련 키워드)를 성공적으로 식별함.
• 거시 수준 컨볼루션은 자동으로 관계 중요도를 학습하며, 더 정보가 많은 관계(예: $AP$ 관계에서 $PAP$ 메타패스)에 대해 높은 주의를 기울임. 이는 실증적 성능 향상과 일치함.