[논문 리뷰] Multi-dimensional Graph Convolutional Networks

Yao Ma, Suhang Wang외 3명|arXiv (Cornell University)|2018. 08. 18.

Advanced Graph Neural Networks참고 문헌 31인용 수 12

한 줄 요약

이 논문은 다중관계 그래프에서 차원 내 및 차원 간 상호작용을 학습함으로써 다차원적이고 차원별로 특화된 노드 표현과 일반적인 노드 표현을 동시에 포괄하는 mGCN을 제안한다. 모델은 이러한 표현들을 가중치 조합을 통해 통합하여 유튜브 및 아마존과 같은 실제 다차원 네트워크에서 노드 분류 작업에서 최신 기준 성능을 달성한다.

ABSTRACT

Convolutional neural networks (CNNs) leverage the great power in representation learning on regular grid data such as image and video. Recently, increasing attention has been paid on generalizing CNNs to graph or network data which is highly irregular. Some focus on graph-level representation learning while others aim to learn node-level representations. These methods have been shown to boost the performance of many graph-level tasks such as graph classification and node-level tasks such as node classification. Most of these methods have been designed for single-dimensional graphs where a pair of nodes can only be connected by one type of relation. However, many real-world graphs have multiple types of relations and they can be naturally modeled as multi-dimensional graphs with each type of relation as a dimension. Multi-dimensional graphs bring about richer interactions between dimensions, which poses tremendous challenges to the graph convolutional neural networks designed for single-dimensional graphs. In this paper, we study the problem of graph convolutional networks for multi-dimensional graphs and propose a multi-dimensional convolutional neural network model mGCN aiming to capture rich information in learning node-level representations for multi-dimensional graphs. Comprehensive experiments on real-world multi-dimensional graphs demonstrate the effectiveness of the proposed framework.

연구 동기 및 목표

• 다양한 유형의 관계를 가진 다차원 그래프에서 효과적인 노드 표현을 학습하는 데 도전한다.
• 단일 관계 유형만을 고려하는 기존 그래프 컨볼루션 네트워크의 한계를 극복한다.
• 내부 차원(각 관계 유형 내) 및 외부 차원(다양한 관계 유형 간) 상호작용을 모두 모델링하는 통합 프레임워크를 개발한다.
• 복잡한 실제 다차원 관계 네트워크에서 노드 분류와 같은 작업을 위한 노드 수준의 표현 학습을 향상시킨다.

제안 방법

• 각 관계 유형을 별도의 차원으로 모델링하여 각 차원에 대해 별도의 그래프 구조를 구성한다.
• 각 차원 내에서 인접 노드의 특징을 집계함으로써 그래프 컨볼루션 레이어를 사용해 차원별로 특화된 노드 표현을 학습한다.
• 노드의 다른 차원에서의 대응 표현을 집계하여 다차원 간 상호작용을 포착한다.
• 가중치 조정이 가능한 평균(하이퍼파rameter α에 의해 제어됨)을 사용해 차원별 표현과 다차원 표현을 조합한다.
• 최종 조합된 표현을 통합하기 위해 완전 연결 레이어를 사용하여 일반적인 노드 임베딩을 생성한다.
• 노드 분류를 위한 교차 엔트로피 손실을 사용하여 경사 하강법 기반의 온라인 학습을 통해 모델을 종합적으로 훈련한다.

실험 결과

연구 질문

• RQ1 그래프 컨볼루션 네트워크는 다수의 관계 유형을 가진 다차원 그래프를 어떻게 확장하여 모델링할 수 있는가?
• RQ2 차원 내 상호작용과 차원 간 상호작용이 노드 표현 품질에 기여하는 비율은 어떻게 되는가?
• RQ3 통합 프레임워크는 다수의 관계 유형에서 정보를 효과적으로 통합하여 노드 분류 성능을 향상시킬 수 있는가?
• RQ4 모델 성능은 차원 내 및 다차원 집계 간 균형에 얼마나 민감한가?

주요 결과

• 제안된 mGCN 모델은 다차원 그래프에서 노드 분류 작업에서 최신 기준 성능을 달성하여 베이스라인 GCN 및 기타 다중관계 임베딩 방법을 압도한다.
• F1-macro 및 F1-micro 점수가 하이퍼파rameter α가 약 0.5일 때 최고에 도달하여, 차원 내 및 다차원 정보가 모두 필수적이며 상호보완적임을 시사한다.
• α를 0 또는 1로 설정할 경우 성능이 크게 떨어지며, 이는 차원 내 또는 다차원 상호작용을 무시할 경우 모델의 효과성이 떨어짐을 확인한다.
• 유튜브 및 아마존과 같은 실제 다차원 네트워크에서 모델은 강건성과 확장성을 입증하였으며, 이들 네트워크에는 사용자-아이템 및 사용자-사용자 간 상호작용이 다수 존재한다.
• 제거 분석 결과, 내부 및 외부 차원 메시지 전달의 통합이 각각의 구성 요소만을 사용하는 것보다 더 정보가 풍부한 노드 표현을 생성함을 확인하였다.
• 이 프레임워크는 실제 다중관계 네트워크의 구조적 및 관계적 복잡성을 효과적으로 포착하여 더 나은 후속 예측 작업을 가능하게 한다.