[논문 리뷰] Learning to Exploit Long-term Relational Dependencies in Knowledge Graphs

Lingbing Guo, Zequn Sun외 1명|arXiv (Cornell University)|2019. 05. 13.

Advanced Graph Neural Networks인용 수 106

한 줄 요약

RSNs는 관계 경로에서 건너뛰기 메커니즘으로 장기 의존성을 포착하여 지식 그래프 간 엔티티 정렬을 향상시키고 KG 보완 경쟁력을 확보합니다.

ABSTRACT

We study the problem of knowledge graph (KG) embedding. A widely-established assumption to this problem is that similar entities are likely to have similar relational roles. However, existing related methods derive KG embeddings mainly based on triple-level learning, which lack the capability of capturing long-term relational dependencies of entities. Moreover, triple-level learning is insufficient for the propagation of semantic information among entities, especially for the case of cross-KG embedding. In this paper, we propose recurrent skipping networks (RSNs), which employ a skipping mechanism to bridge the gaps between entities. RSNs integrate recurrent neural networks (RNNs) with residual learning to efficiently capture the long-term relational dependencies within and between KGs. We design an end-to-end framework to support RSNs on different tasks. Our experimental results showed that RSNs outperformed state-of-the-art embedding-based methods for entity alignment and achieved competitive performance for KG completion.

연구 동기 및 목표

• KG 임베딩을 삼중항 수준 학습을 넘어서 장기 관계 의존성을 포착하도록 동기를 부여한다.
• 1-hop 이웃뿐 아니라 관계 경로를 활용하는 경로-레벨 임베딩 방법을 개발한다.
• 경로 모델링에서 주체 엔티티를 강조하기 위해 스키핑/ 잔여(residual) 메커니즘을 사용하는 순환 스키핑 네트워크(RSNs)를 제안한다.
• 바이어스된 경로 샘플링과 타입 기반 음수 샘플링을 포함한 RSNs의 엔드 투 엔드 프레임워크를 설계한다.
• RSNs가 엔티티 정렬에서 최첨단 방법보다 우수하고 KG 보완에서도 경쟁력이 있음을 실증적으로 보여준다.

제안 방법

• 관계 경로 기반 학습과 RSNs를 도입하여 객체 엔티티를 예측할 때 주체 엔티티를 포함시키기 위해 잔여 유사 건너뛰기(residual-like skipping)를 적용한다.
• 엔티티와 관계를 구분하고 엔티티 입력에서 객체 예측으로의 건너뛰기를 적용하여 RSNs로 관계 경로를 모델링한다.
• 학습을 위해 심층 및 교차-KG 관계 경로를 샘플링하기 위한 바이어스된 임의 보행을 활용한다.
• 엔티티 또는 관계 어휘에서 파생된 음수 샘플로 RSNs를 효율적으로 학습하기 위해 타입 기반 노이즈 대조 추정(NCE)을 사용한다.
• 연결성을 강화하고 교차-KG 경로 전파를 가능하게 하기 위해 역방향 관계를 추가한다.

실험 결과

연구 질문

• RQ1 relational-path 기반 임베딩이 RSNs와 함께 다중 KG 간 엔티티 정렬 작업에서 triple 기반 KG 임베딩을 능가할 수 있는가?
• RQ2 바이어스된 깊이 인식 및 교차-KG 바이어스 보행이 정렬 정보의 전파 및 임베딩 품질을 향상시키는가?
• RQ3 Relational-path를 학습할 때 RSNs가 최첨단 KG 보완 모델과 경쟁력이 있는가?
• RQ4 경로 기반 접근 방식이 롱테일 엔티티 및 교차 도메인 KG 통합에 이점을 제공하는가?

주요 결과

• RSNs가 엔티티 정렬 벤치마크에서 최첨단 임베딩 기반 방법을 능가한다.
• 바이어스된 바이어스 없는 바이어스가 없는 바이어스? (중복) across KGs: 원문 원문 유지 필요 — 그대로 번역
• RSNs는 KG 보완에 대해 경쟁력 있는 결과를 달성하며 종종 변환 모델을 능가하고 특화된 KG 보완 모델에 근접한다.
• RSNs는 관계 경로 모델링에서 표준 RNNs/RRNs에 비해 수렴 속도와 최적화 동작이 더 우수하다는 것을 보여준다.
• RSNs를 이용한 경로 기반 학습은 Hits@1 및 MRR에서 더 큰 이점을 나타내어 상위 랭크 예측이 더 강하다는 것을 시사한다.