[논문 리뷰] Neural Collective Entity Linking Based on Recurrent Random Walk Network Learning

Mengge Xue, Weiming Cai외 5명|arXiv (Cornell University)|2019. 06. 20.

Topic Modeling인용 수 12

한 줄 요약

이 논문은 수집적 실체링킹 결정 간의 의미적 상호의존성을 모델링하기 위해 반복적 랜덤 워크 레이어를 통해 외부 지식 기반을 활용하는 새로운 엔드 투 엔드 신경망 집합 실체링킹 모델 RRWEL을 제안한다. 의미 정규화항을 통합하고 지식 그래프 기반 증거 전파를 사용함으로써 RRWEL은 여러 벤치마크에서 최신 기술 수준을 초월하며, 유도된 외부 지식을 통한 개선된 집합적 링킹을 보여준다.

ABSTRACT

Benefiting from the excellent ability of neural networks on learning semantic representations, existing studies for entity linking (EL) have resorted to neural networks to exploit both the local mention-to-entity compatibility and the global interdependence between different EL decisions for target entity disambiguation. However, most neural collective EL methods depend entirely upon neural networks to automatically model the semantic dependencies between different EL decisions, which lack of the guidance from external knowledge. In this paper, we propose a novel end-to-end neural network with recurrent random-walk layers for collective EL, which introduces external knowledge to model the semantic interdependence between different EL decisions. Specifically, we first establish a model based on local context features, and then stack random-walk layers to reinforce the evidence for related EL decisions into high-probability decisions, where the semantic interdependence between candidate entities is mainly induced from an external knowledge base. Finally, a semantic regularizer that preserves the collective EL decisions consistency is incorporated into the conventional objective function, so that the external knowledge base can be fully exploited in collective EL decisions. Experimental results and in-depth analysis on various datasets show that our model achieves better performance than other state-of-the-art models. Our code and data are released at \\url{https://github.com/DeepLearnXMU/RRWEL}.

연구 동기 및 목표

• 기존의 신경망 집합 실체링킹 모델이 상호의존성을 모델링하기 위해 단지 신경망에 의존하는 한계를 해결한다.
• 외부 지식 기반(KB)의 의미를 통합하여 실체링킹 결정 간의 전역적 상호의존성 모델링을 유도한다.
• 지역적 언급-실체 호환성과 KB 기반 전역 일관성의 조합을 위한 미분 가능하고 엔드 투 엔드 프레임워크를 개발한다.
• 손실 함수에 의미 정규화항을 통합하여 문서 내 언급 간 결정 일관성을 유지한다.
• 지식 기반 증거 전파가 반복적 랜덤 워크를 통해 실체링킹 정확도 향상에 얼마나 효과적인지 입증한다.

제안 방법

• 언급 문맥과 후보 실체에서 지역적 의미 표현을 추출하기 위해 CNN을 사용한다.
• 접합된 지역적 특징에 대해 선형 레이어를 적용하여 초기 언급-실체 호환성 점수를 계산한다.
• 지식 기반에서 유도된 의미 유사도를 바탕으로 후보 실체 간에 증거를 전파하는 반복적 랜덤 워크 레이어를 스택한다.
• 지식 기반 실체 간 임베딩 유사도를 사용하여 전이 행렬 T를 구성하여 랜덤 워크 전이를 유도한다.
• 집합적 링킹 결정의 일관성을 강제하기 위해 손실 함수에 의미 정규화항을 통합한다.
• 역전파를 사용하여 전체 모델을 엔드 투 엔드로 훈련시켜 지역적 호환성과 전역 일관성의 공동 최적화를 허용한다.

실험 결과

연구 질문

• RQ1 외부 지식 기반의 의미가 결정 간 상호의존성을 유도함으로써 수집적 실체링킹 성능을 향상시킬 수 있는가?
• RQ2 지식 기반 유도 관계를 사용하여 반복적 랜덤 워크 메커니즘이 후보 실체 간에 증거를 얼마나 효과적으로 전파하는가?
• RQ3 의미 정규화항을 통합함으로써 결정 일관성과 전체 링킹 성능이 향상되는가?
• RQ4 최신 기술 수준의 신경망 집합 EL 모델과 비교해 본다면, 제안된 모델은 정확도와 내구성 측면에서 어떻게 성과를 내는가?
• RQ5 지식 기반 증거 전파가 순수히 신경망 기반 엔드 투 엔드 상호의존성 모델링보다 얼마나 뛰어나게 성능을 향상시키는가?

주요 결과

• RRWEL은 여러 대규모 공개 데이터셋에서 최신 기술 수준의 성능을 달성하며, 기존의 신경망 집합 실체링킹 모델을 능가한다.
• 반복적 랜덤 워크를 통한 외부 지식 통합이 증거 전파 및 결정 일관성 향상에 크게 기여한다.
• 제거 분석 결과, 지식 기반 전이 행렬 T를 사용할 경우 무작위 또는 비-지식 기반 전이보다 더 높은 성능을 기록한다.
• 의미 정규화항은 결정 일관성을 효과적으로 향상시키며, F1 및 정밀도 점수 향상에 기여한다.
• 모델는 일반화 능력이 뛰어나, 상호의존성이 핵심적인 모호한 언급에서 두드러진 성능 향상을 보였다.
• 정성적 분석 결과, 'Bay (horse)'와 'Equine coat color'와 같은 실체들이 지식 기반 전파로 인해 더 높은 증거 점수를 확보한 것으로 확인되었다.