[논문 리뷰] Generalized Multi-Relational Graph Convolution Network.

Donghan Yu, Yiming Yang외 2명|arXiv (Cornell University)|2020. 06. 12.

Advanced Graph Neural Networks참고 문헌 22인용 수 3

한 줄 요약

이 논문은 이질적인 관계를 가진 지식 그래프에서 노드 및 엣지 표현을 함께 최적화하는 일반화된 다중관계 그래프 컬러션 네트워크인 GEM-GCN을 제안한다. GCN과 지식 기반 임베딩 방법을 통합함으로써, 기준 데이터셋에서 지식 그래프 정렬 및 실체 분류 작업에서 최신 기술 성능을 달성한다.

ABSTRACT

Graph Convolutional Networks (GCNs) have received increasing attention in recent machine learning. How to effectively leverage the rich structural information in complex graphs, such as knowledge graphs with heterogeneous types of entities and relations, is a primary open challenge in the field. Most GCN methods are either restricted to graphs with a homogeneous type of edges (e.g., citation links only), or focusing on representation learning for nodes only instead of jointly optimizing the embeddings of both nodes and edges for target-driven objectives. This paper addresses these limitations by proposing a novel framework, namely the GEneralized Multi-relational Graph Convolutional Networks (GEM-GCN), which combines the power of GCNs in graph-based belief propagation and the strengths of advanced knowledge-base embedding methods, and goes beyond. Our theoretical analysis shows that GEM-GCN offers an elegant unification of several well-known GCN methods as specific cases, with a new perspective of graph convolution. Experimental results on benchmark datasets show the advantageous performance of GEM-GCN over strong baseline methods in the tasks of knowledge graph alignment and entity classification.

연구 동기 및 목표

• 기존 GCN 방법이 동질적 그래프에 국한되거나 노드 표현 학습에만 집중하는 한계를 해결한다.
• 지식 그래프와 같은 복잡한 다중관계 그래프에서 노드 및 엣지 표현을 함께 최적화할 수 있도록 한다.
• 단일 이론적 프레임워크 내에서 잘 알려진 GCN 방법과 지식 기반 임베딩 기법을 통합한다.
• 이질적 그래프 환경에서 지식 그래프 정렬 및 실체 분류와 같은 목표 기반 작업에서 성능을 향상시킨다.

제안 방법

• 다양한 관계 유형을 통합된 메시지 전파 프레임워크에서 명시적으로 모델링하는 일반화된 그래프 컬러션 연산을 제안한다.
• 관계적 구조를 유지하기 위해 GCN 메시지 전파 메커니즘에 고급 지식 기반 임베딩 기법(예: TransE 스타일 스코어링)을 통합한다.
• 하류 작업을 위한 노드 및 엣지 표현을 함께 최적화하는 유연한 엔드 투 엔드 학습 목표를 사용한다.
• 다양한 고전적 GCN 방법이 제안된 GEM-GCN 프레임워크의 특수 케이스임을 이론적으로 밝힌다.
• 다양한 관계 유형에서 온 메시지를 적응적으로 집계하기 위해 관계별 가중치 행렬과 어텐션 메커니즘을 활용한다.
• 관계 이질성을 존중하는 파rameterized 집계 함수를 사용해 다중관계 그래프에서 믿음 전파를 적용한다.

실험 결과

연구 질문

• RQ1 통합된 GCN 프레임워크는 이질적인 실체와 관계를 가진 다중관계 그래프를 효과적으로 모델링할 수 있는가?
• RQ2 노드 및 엣지 표현을 함께 최적화하는 방식이 노드 전용 학습 대비 지식 그래프 작업에서 성능을 어떻게 향상시키는가?
• RQ3 GEM-GCN은 기존의 GCN 및 지식 기반 임베딩 방법을 어느 정도 일반화하는가?
• RQ4 제안된 프레임워크는 지식 그래프 정렬 및 실체 분류 기준 데이터셋에서 뛰어난 성능을 달성하는가?

주요 결과

• GEM-GCN은 표준 기준 데이터셋에서 강력한 베이스라인들을 능가하는 성능으로 지식 그래프 정렬 작업에서 최신 기술 성능을 달성한다.
• 특히 자원이 제한된 환경과 다중관계 설정에서 실체 분류 정확도 향상이 뚜렷하게 나타난다.
• 이론적 분석을 통해 GEM-GCN이 몇 가지 잘 알려진 GCN 변종을 특수 케이스로 포함함을 확인하여 그 일반성에 대한 타당성을 입증한다.
• 실험 결과는 노드 및 엣지 표현의 공동 학습이 노드 전용 접근 방식보다 더 강력하고 표현력 있는 표현을 만들어낸다는 것을 보여준다.