[논문 리뷰] Recurrent Skipping Networks for Entity Alignment

Lingbing Guo, Zequn Sun외 2명|arXiv (Cornell University)|2018. 11. 06.

Advanced Graph Neural Networks참고 문헌 22인용 수 9

한 줄 요약

이 논문은 지식 그래프 내에서 장거리 경로를 생성하기 위해 편향된 랜덤 워크 샘플링을 사용하고, 이를 순환 스킵 네트워크(RSN)로 모델링하는 엔티티 정합을 위한 새로운 엔드 투 엔드 프레임워크인 RSN4EA를 제안한다. RSN은 잔차 학습을 통합하여 RNN의 수렴 속도와 성능을 향상시키며, 엔티티 정합에서 최신 기술 수준(SOTA) 성능을 달성하고 지식 그래프 완성에서도 경쟁력 있는 성능을 보이며, 이전 정합에 대한 의존도를 감소시킨다.

ABSTRACT

We consider the problem of learning knowledge graph (KG) embeddings for entity alignment (EA). Current methods use the embedding models mainly focusing on triple-level learning, which lacks the ability of capturing long-term dependencies existing in KGs. Consequently, the embedding-based EA methods heavily rely on the amount of prior (known) alignment, due to the identity information in the prior alignment cannot be efficiently propagated from one KG to another. In this paper, we propose RSN4EA (recurrent skipping networks for EA), which leverages biased random walk sampling for generating long paths across KGs and models the paths with a novel recurrent skipping network (RSN). RSN integrates the conventional recurrent neural network (RNN) with residual learning and can largely improve the convergence speed and performance with only a few more parameters. We evaluated RSN4EA on a series of datasets constructed from real-world KGs. Our experimental results showed that it outperformed a number of state-of-the-art embedding-based EA methods and also achieved comparable performance for KG completion.

연구 동기 및 목표

• 기존 엔티티 정합 방법이 삼중항 수준의 임베딩에만 초점을 맞추며 지식 그래프 내 장기적 의존성을 포착하지 못하는 한계를 해결하기 위해.
• 장기적 경로 모델링을 통해 지식 그래프 간 정체성 정보의 효과적 전파를 가능하게 하여 대량의 이전 정합에 대한 의존도를 줄이기 위해.
• 깊이와 교차-KG 편향을 제어할 수 있는 경로 샘플링 전략을 설계하여 보다 효과적인 훈련을 가능하게 하기 위해.
• 표준 RNN과 비교해 관계적 구조와 방향성을 더 잘 포착할 수 있는 순차적 모델링 아키텍처를 개발하기 위해.
• 밀도와 언어 설정을 제어한 현실적이고 다양한 데이터셋에서의 평가를 통해 재현 가능성과 강건성을 확보하기 위해.

제안 방법

• RSN4EA는 깊이와 정합 관련 엔티티 향한 편향을 제어할 수 있는 편향된 랜덤 워크 샘플링 방법을 사용하여 교차-KG 경로를 장거리로 생성한다.
• 프레임워크는 RNN에 잔차 학습을 통합하여 기울기 흐름과 수렴 속도를 향상시키는 새로운 순환 스킵 네트워크(RSN)를 사용한다.
• RSN은 주어진 주어진 엔티티와 예측된 목적어 사이의 잔차를 학습하여 경로를 모델링함으로써 구조적 맥락을 유지하고 표현 학습을 향상시킨다.
• 모델은 대응 엔티티 쌍에 대한 대비 학습을 사용해 엔드 투 엔드로 훈련되며, 엔티티 정합과 지식 그래프 완성에 최적화된 손실 함수가 사용된다.
• 경로 샘플링은 이전 정합을 기반으로 하여 알려진 정합된 엔티티를 연결하는 경로를 우선순위로 지정함으로써 정보 전파를 향상시킨다.
• 이 방법은 밀도와 언어 설정이 다양한 네 개의 실제 지식 그래프 쌍에서 평가되어 일반화 능력을 확보한다.

실험 결과

연구 질문

• RQ1 지식 그래프 내 장거리 경로를 모델링하면 삼중항 수준의 임베딩 방법을 초월해 엔티티 정합 성능을 향상시킬 수 있는가?
• RQ2 RNN에 잔차 학습을 통합하면 지식 그래프의 관계적 시퀀스 모델링에 어떤 영향을 미치는가?
• RQ3 경로 기반 학습을 통해 이전 정합 집합의 크기에 대한 의존도는 어느 정도 감소시킬 수 있는가?
• RQ4 샘플링된 랜덤 워크의 길이는 엔티티 정합 및 지식 그래프 완성 성능에 어떤 영향을 미치는가?
• RQ5 경로 기반 방법은 엔티티 정합을 주요 목적으로 하되, 지식 그래프 완성에서도 경쟁력 있는 성능을 달성할 수 있는가?

주요 결과

• RSN4EA는 모든 데이터셋에서 다수의 최신 기술 수준(SOTA) 기반 엔티티 정합 방법을 압도하며, 저조한 이전 정합 설정에서 BootEA 대비 Hits@1 성능이 최대 30.2% 향상되었다.
• 제안된 RSN은 표준 RNN과 RRN보다 뛰어난 성능을 보였고, 훈련 시간의 1/30로도 충분히 빠른 성능 향상을 달성하여, 순차적 지식 그래프 모델링에서 잔차 학습의 효과를 입증했다.
• 랜덤 워크 길이가 15~25일 때 성능이 포화 상태에 도달함을 확인하여, 중간 길이(15)의 경로가 성능와 효율성의 균형을 이루는 데 최적임을 시사했다.
• FB15K-237 벤치마크에서 RSN4EA는 이와 같은 작업에 특별히 최적화되지 않았음에도 불구하고, ConvE에 이어 두 번째로 경쟁력 있는 성능을 기록하여 지식 그래프 완성에서도 뛰어난 성능을 보였다.
• 이전 정합을 10%로 줄였을 때도 RSN4EA는 BootEA보다 유의미하게 높은 성능을 유지했으며, 일부 경우에서 Hits@1이 거의 두 배에 이를 정도로 저 supervision 환경에서도 뛰어난 강건성을 보였다.
• 일반적인 지식 그래프와 고밀도 지식 그래프 양쪽 모두에서 안정적인 성능을 보이며, 다양한 데이터 분포에 대한 일반화 능력을 확인했다.