[논문 리뷰] Neural Collective Entity Linking

Yixin Cao, Lei Hou외 2명|arXiv (Cornell University)|2018. 11. 21.

Topic Modeling참고 문헌 34인용 수 61

한 줄 요약

NCEL은 주의 메커니즘이 적용된 하위 그래프에서 그래프 컨볼루션 네트워크를 사용하는 신경 집합적 엔티티 연결 모델을 개발하고, Wikipedia 하이퍼링크를 학습 데이터로 사용하며 다섯 개 벤치마크에서 강한 일반화를 달성한다.

ABSTRACT

Entity Linking aims to link entity mentions in texts to knowledge bases, and neural models have achieved recent success in this task. However, most existing methods rely on local contexts to resolve entities independently, which may usually fail due to the data sparsity of local information. To address this issue, we propose a novel neural model for collective entity linking, named as NCEL. NCEL applies Graph Convolutional Network to integrate both local contextual features and global coherence information for entity linking. To improve the computation efficiency, we approximately perform graph convolution on a subgraph of adjacent entity mentions instead of those in the entire text. We further introduce an attention scheme to improve the robustness of NCEL to data noise and train the model on Wikipedia hyperlinks to avoid overfitting and domain bias. In experiments, we evaluate NCEL on five publicly available datasets to verify the linking performance as well as generalization ability. We also conduct an extensive analysis of time complexity, the impact of key modules, and qualitative results, which demonstrate the effectiveness and efficiency of our proposed method.

연구 동기 및 목표

• 해석의 지역 맥락 희소성을 극복하기 위해 집합적 엔티티 연결의 필요성을 제시한다.
• 로컬 맥락 특징과 글로벌 일관성을 하위 그래프 GCN을 통해 결합하는 신경 모델을 제안한다.
• 후보 특징, 하위 그래프 구조 및 주의를 통합하여 엔드투엔드 학습을 가능하게 한다.
• 전체 그래프가 아니라 인접 언급 하위그래프에서 그래프 컨볼루션을 수행하여 효율성을 향상시킨다.

제안 방법

• Wikipedia, 웹 말뭉치, YAGO에서 얻은 우선 기반의 사전을 사용하여 각 언급에 대한 후보 엔티티를 생성한다.
• 로컬 특징(문자열 유사도, 주의 정보를 포함한 공동 임베딩으로의 호환성)과 글로벌 특징(이웃 언급 간의 호환성 및 하위그래프 구조)을 추출한다.
• 단어/언급과 엔티티에 대한 의미 인식 표현을 갖는 공동 임베딩 공간에 언급과 후보를 표현한다.
• 다층 인코더를 적용한 다음, 인접 언급의 잘려진 하위 그래프에서 작동하는 하위 그래프 컨볼루션 네트워크와 후보 확률을 예측하는 디코더를 사용한다.
• 문서 전반에 걸친 예측 후보와 실제 후보 간의 교차 엔트로피를 최소화하여 엔드투엔드 학습을 수행한다.
• 후보 일치에 기여하는 맥락 단어에 가중치를 부여하는 주의 메커니즘을 사용하여 잡음에 대한 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 다양한 데이터셋에서 NCEL이 최신의 로컬 및 글로벌 모델보다 더 높은 연결 정확도를 달성하는가?
• RQ2 전체 그래프 계산 없이 하위 그래프 기반 GCN이 문서 수준의 일관성을 효과적으로 포착할 수 있는가?
• RQ3 주목 메커니즘과 공동 임베딩이 노이즈 데이터 및 도메인 바이어스에 대한 강건성에 어떤 영향을 미치는가?
• RQ4 NCEL 성능에서 로컬 특징과 글로벌 특징의 상대적 기여도는 어느 정도인가?
• RQ5 Wikipedia 하이퍼링크에서의 학습이 표준 EL 벤치마크에 얼마나 일반화되는가?

주요 결과

• NCEL은 다섯 개의 공개 EL 벤치마크에서 일관되게 다양한 기준선을 능가하며 강한 일반화를 보인다.
• 인접 언급의 하위그래프를 사용하면 효율성이 크게 향상되면서도 경쟁력 있는 성능을 유지한다.
• 주의 메커니즘은 잡음에 대한 강건성을 높이고 식별(disambiguation)을 위한 특징 품질을 향상시킨다.
• 공동 단어/엔티티 임베딩은 엔드투엔드 프레임워크에서 로컬 및 글로벌 신호를 효과적으로 통합할 수 있게 한다.
• Wikipedia 하이퍼링크로 학습하면 데이터셋과 도메인을 넘어 강한 일반화를 얻는다.
• 정성적 분석은 이웃 언급 신호로부터 이점을 얻어 난이한 사례에서 해석을 개선한다.