[논문 리뷰] Learning Entity Linking Features for Emerging Entities

Chenwei Ran, Wei Shen외 4명|arXiv (Cornell University)|2022. 08. 08.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 위키백과 커버리지가 없는 신규 엔티티(EEs)를 위한 고품질 엔티티 링킹(EL) 특징을 학습하는 자기학습 접근법인 STAMO를 제안한다. 자기학습을 내부 및 외부 슬롯 정련을 갖춘 다중 슬롯 최적화 과정으로 간주함으로써 STAMO는 오류 전파를 완화하고, 소수의 레이블된 문서와 레이블이 없는 웹 데이터만을 사용하여도 EEs에 대한 EL 성능을 크게 향상시킨다.

ABSTRACT

Entity linking (EL) is the process of linking entity mentions appearing in text with their corresponding entities in a knowledge base. EL features of entities (e.g., prior probability, relatedness score, and entity embedding) are usually estimated based on Wikipedia. However, for newly emerging entities (EEs) which have just been discovered in news, they may still not be included in Wikipedia yet. As a consequence, it is unable to obtain required EL features for those EEs from Wikipedia and EL models will always fail to link ambiguous mentions with those EEs correctly as the absence of their EL features. To deal with this problem, in this paper we focus on a new task of learning EL features for emerging entities in a general way. We propose a novel approach called STAMO to learn high-quality EL features for EEs automatically, which needs just a small number of labeled documents for each EE collected from the Web, as it could further leverage the knowledge hidden in the unlabeled data. STAMO is mainly based on self-training, which makes it flexibly integrated with any EL feature or EL model, but also makes it easily suffer from the error reinforcement problem caused by the mislabeled data. Instead of some common self-training strategies that try to throw the mislabeled data away explicitly, we regard self-training as a multiple optimization process with respect to the EL features of EEs, and propose both intra-slot and inter-slot optimizations to alleviate the error reinforcement problem implicitly. We construct two EL datasets involving selected EEs to evaluate the quality of obtained EL features for EEs, and the experimental results show that our approach significantly outperforms other baseline methods of learning EL features.

연구 동기 및 목표

• 위키백과에 아직 등재되지 않은 신규 엔티티(EEs)의 엔티티 링킹(EL) 실패 문제를 해결하기 위해, 사전 확률 및 임베딩과 같은 필수 EL 특징이 부족한 상황을 다루는 것.
• 수동 주석 처리의 한계와 기존의 검색 기반 방법이 EEs에 대해 강력한 EL 특징을 생성하지 못하는 문제를 극복하는 것.
• 소수의 레이블된 문서와 풍부한 레이블이 없는 웹 데이터만을 사용하여 일반적인 목적의 방법으로 EEs에 대한 고품질 EL 특징을 자동으로 학습하는 것.
• 오류 강화 문제를 암묵적으로 정련된 EL 특징을 통한 구조적 최적화를 통해 해결함으로써, 잘못 레이블된 데이터를 제거하는 것 없이 자기학습의 오류 전파 문제를 완화하는 것.

제안 방법

• 소수의 레이블된 문서와 대규모 레이블이 없는 웹 데이터로부터 EEs의 EL 특징을 학습하는 자기학습 프레임워크인 STAMO를 제안한다.
• 자기학습을 EEs의 EL 특징에 대한 다중 최적화 과정으로 간주하며, 기본 EL 모델의 목적 함수와 일치시키기 위해 내부 슬롯 최적화를 도입한다.
• 현재 EL 특징 학습을 이전 학습 슬롯과 연결함으로써 반복 간 지식 전이를 가능하게 하는 외부 슬롯 최적화를 도입한다.
• 시간에 따라 EL 특징의 진화를 모델링하기 위해 가상의 최적화 과정을 사용하여 안정성과 오류 누적 감소를 향상시킨다.
• 임의의 수치적 EL 특징(예: 사전 확률, 관련성 점수, 엔티티 임베딩) 또는 EL 모델 아키텍처와의 통합이 원활하게 이루어지도록 한다.
• 학습 과정의 구조를 활용하여 명시적 인스턴스 필터링 없이도 노이즈 있는 예측을 암묵적으로 억제한다.

실험 결과

연구 질문

• RQ1 위키백과 기반 특징이 이용 불가능한 상황에서 자기학습이 신규 엔티티에 대한 고품질 EL 특징을 효과적으로 학습하는 데 적합하게 적용될 수 있는가?
• RQ2 잘못 레이블된 데이터를 제거하지 않고서도 자기학습의 오류 강화 문제를 어떻게 완화할 수 있는가?
• RQ3 내부 슬롯 및 외부 슬롯 최적화가 EEs의 학습된 EL 특징 품질에 얼마나 기여하는가?
• RQ4 소수의 레이블된 문서와 레이블이 없는 데이터 조합이 감독 기반 기준보다 성능이 유사하거나 뛰어나게 할 수 있는가?
• RQ5 기본 자기학습 또는 신뢰도 기반 필터링과 비교할 때 제안된 최적화 전략은 EEs에 대해 안정성과 정확성 측면에서 어떻게 우월한가?

주요 결과

• STAMO는 두 개의 구축된 EL 데이터셋에서 기존 기준 방법보다 뚜렷이 뛰어난 성능을 보이며, 신규 엔티티에 대한 EL 특징 학습에서 뛰어난 성능을 입증한다.
• 제안된 내부 슬롯 최적화는 학습된 EL 특징을 기본 EL 모델의 목적 함수와 효과적으로 일치시켜 특징 품질을 향상시킨다.
• 외부 슬롯 최적화는 이전의 특징 업데이트를 활용함으로써 학습을 향상시키고 반복 간 오류 전파를 줄인다.
• 매우 적은 감독(신규 엔티티당 몇 개의 레이블된 문서)으로도 고품질의 EL 특징 학습을 달성할 수 있다.
• 최적화를 통한 암묵적 오류 완화 전략이 명시적 잘못 레이블된 데이터 거부 전략보다 성능이 뛰어나 실용성 면에서 더 안정적임을 입증한다.
• 이 방법은 일반화 가능하며, 임의의 수치적 EL 특징 또는 EL 모델 아키텍처와의 유연한 통합이 가능하다.