[논문 리뷰] Jointly Learning Knowledge Embedding and Neighborhood Consensus with Relational Knowledge Distillation for Entity Alignment

Xinhang Li, Yong Zhang외 1명|arXiv (Cornell University)|2022. 01. 25.

Advanced Graph Neural Networks인용 수 6

한 줄 요약

이 논문은 관계 지식 증류를 사용하여 지식 임bedding와 이웃 공감을 동시에 학습하는 GCN 기반 모델인 RKDEA를 제안한다. 교사 모델에서 학생 모델로 관계 의미를 증류함으로써 적응형 온도 메커니즘을 통해 갈등하는 목적함수를 효과적으로 균형 잡아, 기준 데이터셋에서 최신 기술 성능을 달성한다.

ABSTRACT

Entity alignment aims at integrating heterogeneous knowledge from different knowledge graphs. Recent studies employ embedding-based methods by first learning the representation of Knowledge Graphs and then performing entity alignment via measuring the similarity between entity embeddings. However, they failed to make good use of the relation semantic information due to the trade-off problem caused by the different objectives of learning knowledge embedding and neighborhood consensus. To address this problem, we propose Relational Knowledge Distillation for Entity Alignment (RKDEA), a Graph Convolutional Network (GCN) based model equipped with knowledge distillation for entity alignment. We adopt GCN-based models to learn the representation of entities by considering the graph structure and incorporating the relation semantic information into GCN via knowledge distillation. Then, we introduce a novel adaptive mechanism to transfer relational knowledge so as to jointly learn entity embedding and neighborhood consensus. Experimental results on several benchmarking datasets demonstrate the effectiveness of our proposed model.

연구 동기 및 목표

• 엔티티 정합에서 지식 임베딩 학습과 이웃 공감 간의 상충 관계를 해결하기 위해.
• 희소하거나 이질적인 지식 그래프에서 관계 의미 정보를 효과적으로 활용하여 엔티티 정합 성능을 향상시키기 위해.
• 기존 모델에서 갈등하는 최적화 목적함수로 인한 과적합을 극복하기 위해.
• 적응형 온도 메커니즘을 사용하여 훈련 중 관계 지식과 이웃 공감 간의 동적 균형을 조절하기 위해.
• 교사 모델에서 학생 모델로 관계 지식을 전이하여 정합 정확도를 향상시키기 위해.

제안 방법

• 이웃 정보를 집계하고 그래프 구조를 통합함으로써 엔티티 표현을 학습하기 위해 하이웨이 게이팅 GCN을 사용한다.
• 두 개의 별도 모델을 훈련시켜 지식 증류를 적용한다: 하나는 관계 지식에 중점을 두고(교사), 다른 하나는 이웃 공감에 중점을 두고(학생).
• 관계 인식 표현을 정렬하는 손실을 사용하여 교사 모델에서 학생 모델로 관계 지식을 전이한다.
• 증류된 관계 지식의 기여도를 동적으로 제어하기 위해 적응형 온도 메커니즘을 도입하여 정적 하이퍼파라미터 조정을 피한다.
• 최종 모델은 이웃 공감 손실과 증류 손실의 가중 조합을 통해 두 목적함수를 동시에 최적화한다.
• DBP15K 및 기타 기준 데이터셋에서 프레임워크를 평가하여 다국어 및 다도메인 설정에서 일관된 성능 향상을 보였다.

실험 결과

연구 질문

• RQ1 엔티티 정합에서 관계 지식과 이웃 공감을 효과적으로 균형 잡아 최적화 갈등을 방지할 수 있는가?
• RQ2 지식 증류가 GCN 기반 엔티티 정합 모델에 관계 의미 정보를 통합하는 데 도움이 될 수 있는가?
• RQ3 지식 증류에서 적응형 온도 메커니즘이 고정된 온도 메커니즘보다 어떤 영향을 미치는가?
• RQ4 희소하거나 이질적인 지식 그래프에서 관계 지식 증류가 성능 향상에 얼마나 기여하는가?
• RQ5 제안된 프레임워크는 자체 아키텍처를 초월해 기존 엔티티 정합 모델을 일반화하여 향상시킬 수 있는가?

주요 결과

• RKDEA는 DBP15K에서 최신 기술 성능을 달성하였으며, DBP_FR-EN에서 Hits@1이 0.601을 기록하여 이전 최신 기술 모델을 초월했다.
• 관계 지식 증류를 적용한 모델(w/ RKD)은 기준 모델인 KECG 대비 평균 4.5% 향상된 Hits@1 성능을 보였다.
• 적응형 온도 메커니즘이 정적 온도 기반 베이스라인 대비 더 높은 최종 Hits@1 성능과 더 나은 수렴을 이끌었다.
• 제거 실험을 통해 관계 지식 증류가 KECG, HyperKA, RKDEA 등 다양한 모델의 성능을 크게 향상시킨다는 것이 확인되었다.
• 성능 향상은 특히 다국어 설정에서 가장 두드러졌으며, 이는 언어에 관계없이 엔티티 정합을 처리하는 데서 방법의 효과성을 입증한다.
• 결과는 증류를 통해 관계 지식을 통합할 경우, 특히 이웃 구조만으로는 잘못된 정합을 유도하는 경우(예: 뉴욕 주 vs. 뉴욕 시) 정합의 강건성을 향상시킨다는 것을 보여준다.