[논문 리뷰] Entity-aware ELMo: Learning Contextual Entity Representation for Entity Disambiguation

Hamed Shahbazi, Xiaoli Z. Fern외 3명|arXiv (Cornell University)|2019. 08. 14.

Topic Modeling참고 문헌 19인용 수 19

한 줄 요약

이 논문은 문맥 인코딩 중에 단어 대신 지문화된 실체를 예측하도록 언어 모델을 훈련시켜 ELMo를 확장한 실체 인지 ELMo(E-ELMo)를 제안한다. 이중 순환 신경망 아키텍처에 실체 인지 감독을 통합함으로써 E-ELMo는 더 풍부하고 문맥에 민감한 실체 표현을 학습하며, 이는 단순한 국소적 의미 해소 모델이 AIDA 및 TAC 벤치마크에서 최신 기술 수준의 글로벌 모델을 능가할 수 있도록 한다. YAGO를 사용할 때 AIDA test-b에서 마이크로 평균 정확도가 0.5% 향상되었다.

ABSTRACT

We present a new local entity disambiguation system. The key to our system is a novel approach for learning entity representations. In our approach we learn an entity aware extension of Embedding for Language Model (ELMo) which we call Entity-ELMo (E-ELMo). Given a paragraph containing one or more named entity mentions, each mention is first defined as a function of the entire paragraph (including other mentions), then they predict the referent entities. Utilizing E-ELMo for local entity disambiguation, we outperform all of the state-of-the-art local and global models on the popular benchmarks by improving about 0.5\% on micro average accuracy for AIDA test-b with Yago candidate set. The evaluation setup of the training data and candidate set are the same as our baselines for fair comparison.

연구 동기 및 목표

• 국소 NED 모델이 언급과 후보 실체 간의 풍부한 문맥적 의존성을 포착하는 데 한계가 있다는 문제를 해결하기 위해.
• 표준 ELMo가 단어를 예측하는 데서 실체 인지성이 부족하다는 문제를 해결하기 위해.
• 적절하게 설계된 국소 모델이 문맥 실체 표현을 사용할 경우 글로벌 모델을 능가할 수 있음을 보여주기 위해.
• 비약어 코퍼스와 엔드 투 엔드 훈련을 통해 깊이 있는, 문맥에 민감한 실체 표현을 학습하기 위해.

제안 방법

• 다음 단어를 예측하는 대신 언급 위치에서 지문화된 실체를 예측하도록 예측 목표를 수정함으로써 ELMo를 확장한다.
• 각 토큰에 대한 문맥 인지 표현을 생성하기 위해 문자 수준의 CNN 인코더를 갖춘 이중 순환 신경망을 사용한다.
• 손실 함수가 언급 스팬에서 정확한 실체 예측을 장려하도록, 애너테이션 없는 텍스트에서 모델을 엔드 투 엔드로 훈련시킨다.
• 언급-문맥과 실체 표현 유사도 기반으로 후보 실체를 점수 매기는 단순한 국소 분류기에서 E-ELMo 표현을 통합한다.
• 글로벌 동시 추론 없이, 오직 언급 문맥과 실체 표현만을 사용하여 국소 실체 해석에 모델을 적용한다.
• 실체 인지 감독, 어휘적 특징, 사전 지식의 기여도를 평가하기 위해 추론 분석을 수행한다.

실험 결과

연구 질문

• RQ1 실체 인지 문맥 표현을 갖춘 국소 NED 모델이 최신 기술 수준의 글로벌 모델을 능가할 수 있는가?
• RQ2 실체 인지 사전 훈련이 희귀 실체 및 낮은 빈도 실체에서 성능에 어떤 영향을 미치는가?
• RQ3 E-ELMo 표현이 의미 해석에 관련된 문법적, 의미적, 어휘적 의존성을 얼마나 잘 포착하는가?
• RQ4 어휘적 특징과 사전 지식을 제거하면 성능이 크게 떨어지는가? 이는 E-ELMo 표현의 강건성을 시사하는가?

주요 결과

• E-ELMo는 YAGO 후보 세트를 사용할 때 AIDA test-b에서 마이크로 평균 정확도 96.24%를 기록하여 이전 최신 기술 수준의 글로벌 모델보다 약 0.5% 높은 성능을 보였다.
• 희귀 실체에 대해서도 뛰어난 성능 유지를 보였으며, 위키백과에서 1~10번 나타나는 실체에 대해 95.42%의 정확도를 기록하여 이 범주에서 글로벌 모델(91.93%)을 크게 능가했다.
• 어휘적 특징이나 사전 지식 없이도 E-ELMo 모델은 YAGO 세트에서 92.30%의 정확도를 달성하여 실체 인지 표현이 강건하고 자율적임을 보여주었다.
• 오픈 도메인 데이터셋에서도 E-ELMo는 최신 기술 수준의 글로벌 모델과 경쟁 가능한 성능을 보였으며, 표준 벤치마크를 초월한 일반화 능력을 입증했다.
• 추론 분석 결과, 사전 지식과 어휘적 특징을 제거해도 성능 저하가 미미하여, E-ELMo가 내부적으로 필수적인 의존성을 잘 포착하고 있음을 시사한다.
• 모든 문서의 언급 수에 걸쳐 E-ELMo는 글로벌 모델을 일관되게 능가했으며, 언급 수가 20개 미만인 문서에서 성능 격차가 가장 컸다.