[논문 리뷰] Composition-based Multi-Relational Graph Convolutional Networks

Shikhar Vashishth, Soumya Sanyal외 2명|arXiv (Cornell University)|2019. 11. 08.

Advanced Graph Neural Networks참고 문헌 39인용 수 136

한 줄 요약

CompGCN은 이웃 노드와 관계 임베딩을 결합하여 다중-relational 그래프의 노드와 관계 임베딩을 공동으로 학습하고, 더 우수한 링크 예측 성능과 확장 가능한 관계 처리 성능을 달성하며, 코드 릴리스가 추가됩니다.

ABSTRACT

Graph Convolutional Networks (GCNs) have recently been shown to be quite successful in modeling graph-structured data. However, the primary focus has been on handling simple undirected graphs. Multi-relational graphs are a more general and prevalent form of graphs where each edge has a label and direction associated with it. Most of the existing approaches to handle such graphs suffer from over-parameterization and are restricted to learning representations of nodes only. In this paper, we propose CompGCN, a novel Graph Convolutional framework which jointly embeds both nodes and relations in a relational graph. CompGCN leverages a variety of entity-relation composition operations from Knowledge Graph Embedding techniques and scales with the number of relations. It also generalizes several of the existing multi-relational GCN methods. We evaluate our proposed method on multiple tasks such as node classification, link prediction, and graph classification, and achieve demonstrably superior results. We make the source code of CompGCN available to foster reproducible research.

연구 동기 및 목표

• 레이블과 방향을 가진 엣지가 있는 다중 관계 그래프를 동기부여하고 모델링합니다(예: 지식 그래프).
• 관계 GCN에서 과다 매개변수화를 해결하기 위해 노드와 관계를 공동으로 임베딩하는 GCN 프레임워크를 개발합니다.
• 지식 그래프 임베딩에서의 구성을 이용해 관계 정보를 효율적으로 도입합니다.
• 링크 예측, 노드 분류 및 그래프 분류 작업에서의 효과를 보여줍니다.

제안 방법

• 관계를 d 차원 임베딩으로 표현하고 이웃 메시지에 관계 인식 구성 phi(e_s, e_r)을 적용합니다.
• W_lambda(r) (W_O, W_I, W_S)을 통해 원래, 역방향 및 자기 루프 엣지에 방향 특화 필터를 사용합니다.
• 관계 임베딩을 별도의 행렬 W_rel로 변환하여 노드 임베딩 공간에 정렬합니다.
• 관계의 수에 따라 확장 가능하도록 관계에 대한 기저 분해 전략(B)를 도입합니다.
• CompGCN이 Kipf-GCN, Relational-GCN, Directed-GCN, 및 Weighted-GCN을 일반화한다는 것을 보인다(제안 4.1).
• 노드 및 관계 임베딩에 대한 층 쌓기 k-layer 구성(Eq. 5)을 제공하고 다층으로 확장하는 방법을 보인다.

실험 결과

연구 질문

• RQ1 기존 Relational-GCN 및 KG 임베딩과 비교했을 때 CompGCN은 링크 예측에서 어떤 성능을 보이나요?
• RQ2 다른 그래프 컨볼루션 인코더와 구성 연산자가 링크 예측 성능에 미치는 영향은 무엇인가요?
• RQ3 기저 벡터를 통한 관계 수 증가에 따라 CompGCN이 확장되면서 매개변수 효율성을 유지하나요?
• RQ4 강력한 기준선(Baselines) 대비 노드 분류 및 그래프 분류 작업에서 CompGCN의 성능은 어떠합니까?

주요 결과

• CompGCN은 FB15k-237의 링크 예측에서 4개 중 5지표, WN18RR에서 3개 중 5지표에서 모든 베이스라인을 능가합니다.
• 링크 예측 설정에서 ConvE를 점수 함수로 사용하고 CompGCN(Corr)을 적용하면 전반적 성능이 최상입니다.
• CompGCN은 엔티티와 관계 임베딩을 공동으로 학습하여 노드 임베딩만 학습하는 방법들보다 표현력을 향상시킵니다.
• 관계 기저 벡터 B를 사용한 매개변수 효율적 변형은 전체 관계 성능과 거의 비슷하게 만들 수 있으며, 관계 수가 증가함에 따라 Relational-GCN보다 더 잘 확장됩니다.
• 노드 및 그래프 분류 전반에서 CompGCN은 주목할 만한 향상을 달성하며, 노드 분류 데이터셋에서 평균 3%의 이득을, 그래프 분류에서 비슷하거나 향상된 성능을 보입니다.