[논문 리뷰] Cross-lingual Entity Alignment with Adversarial Kernel Embedding and Adversarial Knowledge Translation

Gong Zhang, Yang Zhou외 3명|arXiv (Cornell University)|2021. 04. 16.

Advanced Graph Neural Networks참고 문헌 34인용 수 5

한 줄 요약

이 논문은 이중 적대적 학습 프레임워크인 DAEA를 제안한다. DAEA는 공유된 공간에서 이질적인 지식 그래프를 정렬하기 위해 적대적 커널 임베딩을 사용하고, 무작위 보행을 통한 적대적 지식 번역을 통해 장거리 맥락 정보를 활용함으로써 기능 불일치와 시퀀스 맥락 무지각 문제를 해결한다. DAEA는 실제 데이터셋에서 13개의 최신 기술(SOTA) 방법을 크게 앞서며, 다양한 벤치마크에서 최고 성능을 기록한다.

ABSTRACT

Cross-lingual entity alignment, which aims to precisely connect the same entities in different monolingual knowledge bases (KBs) together, often suffers challenges from feature inconsistency to sequence context unawareness. This paper presents a dual adversarial learning framework for cross-lingual entity alignment, DAEA, with two original contributions. First, in order to address the structural and attribute feature inconsistency between entities in two knowledge graphs (KGs), an adversarial kernel embedding technique is proposed to extract graph-invariant information in an unsupervised manner, and project two KGs into the common embedding space. Second, in order to further improve successful rate of entity alignment, we propose to produce multiple random walks through each entity to be aligned and mask these entities in random walks. With the guidance of known aligned entities in the context of multiple random walks, an adversarial knowledge translation model is developed to fill and translate masked entities in pairwise random walks from two KGs. Extensive experiments performed on real-world datasets show that DAEA can well solve the feature inconsistency and sequence context unawareness issues and significantly outperforms thirteen state-of-the-art entity alignment methods.

연구 동기 및 목표

• 다른 언어에서의 구조적 및 속성 이질성으로 인해 발생하는 단어별 지식 그래프 간 기능 불일치 문제를 해결하기 위해.
• 로컬 이웃 정보가 부족할 경우, 여러 무작위 보행을 통해 장거리 의존성을 캡처하여 엔티티 정렬에서의 시퀀스 맥락 무지각 문제를 극복하기 위해.
• 초기 임베딩 학습 시 알려진 정렬된 엔티티가 필요하지 않은 비지도 학습 방법을 개발하기 위해.
• 무작위 보행 시퀀스에서 알려진 정렬된 엔티티의 맥락 가이드를 활용하여 정렬 정확도를 향상시키기 위해.
• 엔티티, 관계, 속성, 이름 등 다각도 정보를 통합하여 다국어 정렬을 위한 통합적이고 강력한 표현을 개발하기 위해.

제안 방법

• 엔티티, 관계, 속성, 이름 임베딩을 통합하는 유일한 잠재 표현을 학습하기 위해 그래프 컨volution 네트워크(GCNs)를 사용한다.
• 유계 함수 하에서 최대 평균 불일치(MMD)를 통한 재생 커널 힐버트 공간(RKHS)에 두 지식 그래프를 투영하기 위해 적대적 커널 임베딩을 활용한다.
• 각 엔티티당 10홉의 무작위 보행을 다수 생성하여 장거리 이웃 맥락을 캡처하고 정렬된 엔티티를 강조한다.
• 정렬될 엔티티를 무작위 보행에서 마스킹하고, 마스크가 해제된 알려진 정렬된 엔티티를 맥락으로 사용하여 엔티티 예측을 유도한다.
• 원천 및 대상 지식 그래프에서 쌍을 이루는 무작위 보행에 대해 적대적 지식 번역 모델을 개발하여 마스킹된 엔티티를 메우고 번역한다.
• 다양한 무작위 보행에서 유도된 다수의 맥락 인식 표현을 집계하여 보다 향상된 정렬을 위한 통합 엔티티 임베딩을 형성한다.

실험 결과

연구 질문

• RQ1 비지도 방식으로 기능 불일치가 발생하는 이질적인 지식 그래프를 적대적 커널 임베딩을 통해 효과적으로 정렬할 수 있는가?
• RQ2 국소적 이웃 정보가 부족할 경우, 다수의 무작위 보행에서 유도된 장시퀀스 맥락이 엔티티 정렬 정확도를 향상시킬 수 있는가?
• RQ3 쌍으로 이루어진 무작위 보행에서 알려진 정렬된 엔티티를 맥락으로 사용하여 마스킹된 엔티티를 예측하고 번역하는 데 적대적 지식 번역 모델이 효과적으로 작용하는가?
• RQ4 엔티티, 관계, 속성, 이름 등 다각도 정보의 통합이 저자원 및 고자원 언어 쌍 간의 정렬 성능에 어떤 영향을 미치는가?
• RQ5 언어 커버리지와 문법 차이가 다양할 경우, DAEA는 기존의 최신 기술(SOTA) 방법보다 얼마나 더 뛰어난 성능을 보이는가?

주요 결과

• DAEA는 DBP15K (Zh-En)에서 H@1 점수 0.189, (Ja-En)에서 0.170, (Fr-En)에서 0.197를 기록하여 13개의 SOTA 방법을 모두 앞서며 최고 성능을 기록했다.
• 지식 완성 작업에서 DAEA는 DBP15K (Fr-En)에서 MRR 0.362, (Ja-En)에서 0.322, (Zh-En)에서 0.314를 기록하여 뛰어난 정렬 품질을 입증했다.
• 세 가지 실세계 데이터셋에서 H@1, H@10, MRR 등 모든 평가 지표에서 베이스라인을 일관되게 앞서며 언어 쌍 간의 강건성을 확인했다.
• 절단 실험 결과, 적대적 커널 임베딩과 적대적 지식 번역 모두 성능 향상에 기여하며, 후자는 맥락 인식 능력을 더욱 향상시켰다.
• 사례 연구 결과, DAEA는 고자원 언어의 보행에서 맥락 정보를 활용하여 균형 잡히지 않은 이웃을 가진 엔티티를 성공적으로 정렬함을 확인했다.
• 다수의 무작위 보행에서의 표현 집계는 단일 경로 방법보다 더 나은 정렬 성능을 낳으며, H@1 및 MRR에서 일관된 향상이 관찰되었다.