[논문 리뷰] Multi-view Knowledge Graph Embedding for Entity Alignment

Qinghe Zhang, Zequn Sun외 4명|arXiv (Cornell University)|2019. 06. 06.

Advanced Graph Neural Networks참고 문헌 8인용 수 21

한 줄 요약

이 논문은 다중 시각 지식 그래프 임베딩 프레임워크인 MultiKE를 제안한다. 이는 엔티티 이름, 관계, 속성을 시각별 임베딩과 교차-KG 추론을 통해 공동으로 모델링하는 엔티티 정합성 분석을 위한 것이다. 훈련 중 전략을 통해 이러한 시각을 통합하고, KG 간 신뢰성 있는 정합성 추론을 활용함으로써, 기존 최고 수준의 방법들을 뛰어넘는 성능을 달성하며, 실제 데이터셋에서 최대 91.45%의 F1 스코어를 기록하고, 시드 정합성에 대한 의존도를 감소시켰다.

ABSTRACT

We study the problem of embedding-based entity alignment between knowledge graphs (KGs). Previous works mainly focus on the relational structure of entities. Some further incorporate another type of features, such as attributes, for refinement. However, a vast of entity features are still unexplored or not equally treated together, which impairs the accuracy and robustness of embedding-based entity alignment. In this paper, we propose a novel framework that unifies multiple views of entities to learn embeddings for entity alignment. Specifically, we embed entities based on the views of entity names, relations and attributes, with several combination strategies. Furthermore, we design some cross-KG inference methods to enhance the alignment between two KGs. Our experiments on real-world datasets show that the proposed framework significantly outperforms the state-of-the-art embedding-based entity alignment methods. The selected views, cross-KG inference and combination strategies all contribute to the performance improvement.

연구 동기 및 목표

• 기존의 임베딩 기반 엔티티 정합성 방법이 관계나 속성과 같은 하나 또는 두 가지 유형의 엔티티 특성에만 의존하는 한계를 해결하기 위해.
• 다중 시각 임베딩을 활용해 자동 정합성 추론을 통해 고비용의 시드 엔티티 정합성에 대한 의존도를 줄이기 위해.
• 이름, 관계, 속성과 같은 상호보완적인 엔티티 특성 시각을 통합함으로써 통합 훈련을 통해 정확도와 내구성을 향상시키기 위해.
• 엔티티, 관계, 속성 수준에서 정합성을 유지하고 강화하는 교차-KG 추론 메커니즘을 설계하기 위해.
• 다양한 임베딩 통합 전략과 시각 선택이 정합성 성능 향상에 얼마나 기여하는지 평가하기 위해.

제안 방법

• 프레임워크는 세 가지 별도의 시각을 정의한다: 엔티티 이름(라이터럴 임베딩 사용), 관계(TransE와 같은 이동 모델을 통한), 속성(임베딩 기반 특성 모델링 사용).
• 각 시각에 대해 전용 임베딩 모델을 훈련시켜 의미적이고 구조적인 정보를 반영하는 벡터 표현을 학습한다.
• 교차-KG 신뢰성 추론은 세 수준에서 적용된다: 엔티티 수준, 관계 수준, 속성 수준이며, 서로 다른 KG 간에 대응하는 특성을 정렬하기 위해 공통 최적화 목표를 사용한다.
• 조기, 후기, 훈련 중 통합 전략 세 가지가 제안되어 시각별 임베딩을 통합하며, 훈련 중 통합 전략이 가장 뛰어난 성능을 보였다.
• 훈련 목표는 시각별 임베딩과 교차-KG 정합성 신호를 동시에 최적화하는 연합 손실 함수를 포함한다.
• 멀티태스크 학습 설정을 사용하여, 여러 시각의 정합성 감독 신호와 함께 임베딩을 공동 최적화한다.

실험 결과

연구 질문

• RQ1 이름, 관계, 속성과 같은 엔티티 특성의 다중 시각 통합이 임베딩 기반 엔티티 정합성의 정확도와 내구성 향상에 기여하는가?
• RQ2 시드 정합성에 의존하지 않고도 교차-KG 추론이 관계 및 속성 수준에서 엔티티 정합성을 얼마나 효과적으로 향상시키는가?
• RQ3 조기, 후기, 또는 훈련 중 통합 전략 중 어느 것이 다중 시각 엔티티 정합성에서 가장 뛰어난 성능을 낼 수 있는가?
• RQ4 제안된 프레임워크는 비지도 설정에서 고비용의 시드 엔티티 정합성에 대한 의존도를 얼마나 줄일 수 있는가?
• RQ5 엔티티 이름의 라이터럴 임베딩이 다른 특성 유형에 비해 의미 유사도를 얼마나 잘 포착하는가?

주요 결과

• MultiKE는 DBP-WD 데이터셋에서 91.45%의 Hits@1 스코어를 기록했으며, DBP-YG에서는 88.03%를 기록하여 기존의 LogMap 방법(각각 83.54% 및 83.22%의 F1 스코어)을 뛰어넘었다.
• 이름 시각만으로도 DBP-WD에서 84.30%의 Hits@1을 달성하여, 라이터럴 임베딩이 엔티티 유사도에 대해 강력한 분류 능력을 지닌다는 것을 입증했다.
• 훈련 중 통합 전략은 관계 시각과 속성 시각에서 각각 16.0점과 10.0점의 성능 향상을 보였으며, 공동 최적화의 이점을 보여주었다.
• 교차-KG 관계 및 속성 정합성 추론은 특히 속성 시각에서 낮은 이질성으로 인해 성능 향상에 기여했다.
• 비지도 설정에서 MultiKE-ITC는 DBP-WD에서 83.98%의 Hits@1을 기록하여, 시드 정합성이 없음에도 불구하고 뛰어난 내구성을 보였다.
• 제거 실험을 통해 이름, 관계, 속성 시각 모두 성능 향상에 기여했으며, 특히 이름 시각이 가장 큰 영향을 미쳤다.