[논문 리뷰] Multi-Channel Graph Neural Network for Entity Alignment

Yixin Cao, Zhiyuan Liu외 4명|arXiv (Cornell University)|2019. 08. 26.

Advanced Graph Neural Networks참고 문헌 20인용 수 15

한 줄 요약

이 논문은 자기 주의 및 교차-KG 주의 메커니즘을 사용하여 지식 그래프를 보완하고 독점적 엔티티를 정리함으로써 엔티티 정렬을 향상시키는 다중 채널 그래프 신경망 MuGNN을 제안한다. 다양한 채널을 통해 규칙 전이와 강력한 그래프 인코딩을 활용함으로써 MuGNN은 다섯 개인 공개 데이터셋에서 강력한 기준 대비 Hits@1 평균 5% 향상을 달성한다.

ABSTRACT

Entity alignment typically suffers from the issues of structural heterogeneity and limited seed alignments. In this paper, we propose a novel Multi-channel Graph Neural Network model (MuGNN) to learn alignment-oriented knowledge graph (KG) embeddings by robustly encoding two KGs via multiple channels. Each channel encodes KGs via different relation weighting schemes with respect to self-attention towards KG completion and cross-KG attention for pruning exclusive entities respectively, which are further combined via pooling techniques. Moreover, we also infer and transfer rule knowledge for completing two KGs consistently. MuGNN is expected to reconcile the structural differences of two KGs, and thus make better use of seed alignments. Extensive experiments on five publicly available datasets demonstrate our superior performance (5% Hits@1 up on average).

연구 동기 및 목표

• 효율적인 엔티티 정렬을 방해하는 지식 그래프(KG) 간의 구조적 이질성 문제를 해결한다.
• 훈련 중에 희박한 시드 정합이 존재할 경우 강력한 KG 임베딩을 학습하는 데서 비롯하는 한계를 극복한다.
• 지식 그래프 추론과 엔티티 정렬을 동시에 수행하는 통합 프레임워크를 개발한다.
• 다양한 채널 인코딩을 통해 누락된 관계와 독점적 엔티티를 명시적으로 조율함으로써 그래프 표현 학습을 향상시킨다.
• 외부 텍스트나 반복적 보정에 의존하지 않고도 뛰어난 정렬 성능을 달성한다.

제안 방법

• 자기 주의를 통한 지식 그래프 보완과 교차-KG 주의를 통한 정리 기반으로 서로 다른 시각에서 지식 그래프를 다중 GNN 채널로 인코딩한다.
• AMIE+를 사용하여 지식 그래프 간에 규칙 지식을 추출하고 전이함으로써 누락된 관계의 일관된 보완을 달성한다.
• 자기 주의를 통한 관계 가중치 부여로 각 지식 그래프 내에서 정보성 높은 관계를 강조하고 노이즈를 억제한다.
• 교차-KG 주의를 활용하여 한 지식 그래프에만 속한 엔티티와 연결된 관계에 낮은 가중치를 할당함으로써 효과적으로 이를 걸러낸다.
• 다양한 채널의 출력을 풀링하여 정렬 중심의 지식 그래프 임베딩을 생성한다.
• 시드 정합을 사용하여 엔드 투 엔드로 모델을 훈련함으로써 정렬 성능을 최적화한다.

실험 결과

연구 질문

• RQ1 지식 그래프 간의 구조적 이질성을 명시적으로 조율함으로써 엔티티 정렬을 향상시키는 방법은 무엇인가?
• RQ2 규칙 추론 및 전이가 지식 그래프 보완과 정렬의 강건성에 어느 정도 기여하는가?
• RQ3 희박한 시드 정합 조건 하에서, 다양한 주의 메커니즘을 갖춘 다중 채널 그래프 신경망이 단일 채널 GNN보다 엔티티 정렬에서 뛰어난 성능을 낼 수 있는가?
• RQ4 주요 메커니즘을 통한 지식 그래프 보완 및 정리 통합이 임베딩 품질과 정렬 정확도에 어떤 영향을 미치는가?
• RQ5 각 구성 요소(예: 규칙 전이, 자기 주의, 교차-KG 주의)가 전체 성능 향상에 기여하는 정도는 어느 정도인가?

주요 결과

• MuGNN은 최첨단 방법 대비 다섯 개인 공개 데이터셋에서 평균 5% 향상된 Hits@1 성능을 달성한다.
• 제거 분석 결과, 규칙 전이와 다중 채널 주의 메커니즘이 성능 향상에 뚜렷한 기여를 한다는 것이 확인되었다.
• 규칙 전이가 지식 그래프 간 비대칭 정보를 효과적으로 보정하여, 예를 들어 영문 DBPedia에서 추출한 규칙을 활용해 중국어 DBPedia의 누락된 관계를 보완하는 데 성공했다.
• 교차-KG 주의는 독점적 엔티티를 성공적으로 식별하고 가중치를 낮춰 한 지식 그래프의 구조적 편향을 줄이는 데 기여했다.
• 특히 시드 정합이 희박한 경우에도 모델은 구조적 차이에 대해 뛰어난 강건성을 보였다.
• 오류 분석 결과, 노이즈가 많은 규칙(예: (a, team, b) ⇒ (a, affiliation, b))은 과도한 지지 근거를 생성할 수 있어 향후 연구에서 규칙 필터링이 필요하다는 점이 드러났다.