[논문 리뷰] A Self-supervised Method for Entity Alignment

Xiao Liu, Haoyun Hong외 5명|arXiv (Cornell University)|2021. 06. 17.

Advanced Graph Neural Networks참고 문헌 48인용 수 4

한 줄 요약

이 논문은 레이블이 없는 음성 엔티티 쌍을 서로 멀리 떼어내는 방식으로 성능을 향상시키는 자기지도 학습 대비 학습 방법 SelfKG를 제안한다. 이는 레이블이 있는 양성 쌍을 끌어당기는 것 외에도 추가로 음성 쌍을 분리함으로써 성능을 향상시킨다. 실험 결과 SelfKG는 레이블이 있는 정렬 데이터가 전혀 필요 없이 최신의 감독 학습 방법과 비교할 만한 성능을 달성한다.

ABSTRACT

Entity alignment, aiming to identify equivalent entities across different knowledge graphs (KGs), is a fundamental problem for constructing large-scale KGs. Over the course of its development, supervision has been considered necessary for accurate alignments. Inspired by the recent progress of self-supervised learning, we explore the extent to which we can get rid of supervision for entity alignment. Existing supervised methods for this task focus on pulling each pair of positive (labeled) entities close to each other. However, our analysis suggests that the learning of entity alignment can actually benefit more from pushing sampled (unlabeled) negatives far away than pulling positive aligned pairs close. We present SelfKG by leveraging this discovery to design a contrastive learning strategy across two KGs. Extensive experiments on benchmark datasets demonstrate that SelfKG without supervision can match or achieve comparable results with state-of-the-art supervised baselines. The performance of SelfKG demonstrates self-supervised learning offers great potential for entity alignment in KGs.

연구 동기 및 목표

• 자기지도 대비 학습을 활용하여 엔티티 정렬에서 감독 학습을 제거할 수 있는지 조사하는 것.
• 양성 쌍을 끌어당기는 것 외에 음성 쌍을 서로 멀리 떼어내는 것이 정렬 성능 향상에 더 효과적인지 탐색하는 것.
• 두 개의 지식 그래프에서 쌍이 지어지지 않은 레이블이 없는 엔티티들만을 기반으로 작동하는 대비 학습 프레임워크를 설계하는 것.
• 자기지도 학습이 인간이 애너테이션한 정렬 데이터 없이도 경쟁 가능한 정확도를 달성하는 데 얼마나 효과적인지 평가하는 것.

제안 방법

• SelfKG는 임베딩 공간에서 샘플된 음성 엔티티 쌍을 명시적으로 멀리 떼어내는 대비 학습 전략을 사용한다.
• 모델은 어떤 레이블 기반 정렬 데이터에도 의존하지 않고 두 개의 지식 그래프에서 양성 및 음성 쌍을 구성한다.
• 음성 쌍 간의 분리를 최대화하면서도 양성 쌍 간의 밀집도를 유지하는 대비 목적 함수를 사용한다.
• 모델은 두 지식 그래프의 구조적 및 의미적 특징을 활용하여 대비 학습을 위한 의미 있는 임베딩을 생성한다.
• 정렬된 엔티티에 대해 구분 가능한 표현을 유도하는 대비 손실 함수를 사용하여 엔드 투 엔드로 프레임워크를 훈련시킨다.

실험 결과

연구 질문

• RQ1 자기지도 대비 학습이 레이블이 없는 데이터에서 감독 학습 방법을 능가할 수 있는가?
• RQ2 음성 샘플링에 초점을 맞춰 음성 쌍을 서로 멀리 떼어내는 것이 단지 양성 쌍을 끌어당기는 것보다 더 나은 정렬 성능을 내는가?
• RQ3 두 개의 지식 그래프에서 쌍이 지어지지 않은 엔티티들만을 기반으로 하는 대비 학습 접근법은 얼마나 효과적인가?
• RQ4 자기지도 학습 방법이 감독 학습 기반 최신 기준 성능과 비교할 만한 성능을 달성할 수 있는가?

주요 결과

• SelfKG는 레이블이 있는 정렬 데이터를 전혀 사용하지 않아도 벤치마크 지식 그래프 데이터셋에서 최신 감독 학습 방법과 비교할 만한 성능을 달성한다.
• 이 방법은 단지 양성 쌍을 끌어당기는 것 외에 음성 쌍을 서로 멀리 떼어내는 것이 정렬 성능 향상에 더 크게 기여한다는 것을 입증한다.
• 광범위한 실험을 통해 자기지도 대비 학습이 감독 학습 훈련에 대한 타당하고 효과적인 대안임을 확인한다.
• 결과는 자기지도 학습이 인간 애너테이션을 최소화한 대규모 지식 그래프 구축에 강력한 잠재력을 지닌다는 것을 시사한다.