[논문 리뷰] Learning Cross-Context Entity Representations from Text

Jeffrey Ling, Nicholas FitzGerald외 5명|arXiv (Cornell University)|2020. 01. 11.

Topic Modeling참고 문헌 47인용 수 22

한 줄 요약

이 논문은 마스크된 텍스트 문맥에서 엔티티를 예측하도록 신경망 모델을 훈련시켜 맥락에 의존하지 않는 엔티티 표현을 학습하는 RELIC라는 방법을 소개한다. 외부 지식 기반 또는 작업별 특징에 의존하지 않고도 엔티티 타이핑, 엔티티 연결, 트리비아 질문 응답에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Language modeling tasks, in which words, or word-pieces, are predicted on the basis of a local context, have been very effective for learning word embeddings and context dependent representations of phrases. Motivated by the observation that efforts to code world knowledge into machine readable knowledge bases or human readable encyclopedias tend to be entity-centric, we investigate the use of a fill-in-the-blank task to learn context independent representations of entities from the text contexts in which those entities were mentioned. We show that large scale training of neural models allows us to learn high quality entity representations, and we demonstrate successful results on four domains: (1) existing entity-level typing benchmarks, including a 64% error reduction over previous work on TypeNet (Murty et al., 2018); (2) a novel few-shot category reconstruction task; (3) existing entity linking benchmarks, where we match the state-of-the-art on CoNLL-Aida without linking-specific features and obtain a score of 89.8% on TAC-KBP 2010 without using any alias table, external knowledge base or in domain training data and (4) answering trivia questions, which uniquely identify entities. Our global entity representations encode fine-grained type categories, such as Scottish footballers, and can answer trivia questions such as: Who was the last inmate of Spandau jail in Berlin?

연구 동기 및 목표

• 엔티티가 나타나는 텍스트 문맥을 통합하여 일반적인 목적의 맥락에 의존하지 않는 엔티티 표현을 학습하는 것.
• 채워넣기 작업을 통해 훈련된 엔티티 표현이 엔티티 유형 및 속성과 같은 세밀한 세계 지식을 어떻게 캡처하는지 조사하는 것.
• 타이핑, 연결, 질문 응답과 같은 다양한 엔티티 중심의 NLP 작업에서 이러한 표현의 유용성을 평가하는 것.
• 정제된 지식 기반 또는 외부 특징이 필요 없이 대규모 텍스트에서 고품질의 엔티티 표현을 순수하게 학습할 수 있음을 보여주는 것.
• 소수의 예시 엔티티만 제공된 경우에 카테고리 재구성 및 제로샷 트리비아 질문 응답을 위한 학습된 임베딩 탐색

제안 방법

• 엔티티가 마스크된 문맥에서 모델이 고정된 어휘에서 엔티티를 예측하도록 하는 채워넣기 목표를 사용하여 마스크된 엔티티를 예측하도록 신경망 모델을 훈련한다.
• 엔티티에 대해 공유되는 학습 가능한 임베딩 행렬을 사용하며, 문맥 표현은 주변 텍스트에 대해 BERT 기반 인코더를 적용하여 유도한다.
• 예측된 엔티티 임베딩과 진짜 엔티티 임베딩 간의 교차 엔트로피 손실을 최소화하여 문맥 표현을 엔티티 표현과 일치시킨다.
• 엔티티 표현을 검색 테이블(즉, RELIC 임베딩 행렬)에 저장하여 후속 검색 작업을 위한 지식 저장소로 활용한다.
• 임베딩 공간 내에서 가장 가까운 이웃 검색을 통해 추론을 수행하여 주어진 문맥 또는 질문과 가장 잘 맞는 엔티티를 검색한다.
• 추론 중에는 엔티티 임베딩 행렬을 고정한 채로 BERT 인코더를 엔티티 예측 작업에 대해 미세조정한다.

실험 결과

연구 질문

• RQ1 엔티티 마스크된 텍스트에서 채워넣기 작업이 rich world knowledge를 캡처하는 고품질의 맥락에 의존하지 않는 엔티티 표현을 학습할 수 있는가?
• RQ2 명시적 감독 없이도 '스코티시 축구선수' 또는 '우주에서 첫 여성'과 같은 세밀한 엔티티 유형을 RELIC 표현이 얼마나 잘 포착할 수 있는가?
• RQ3 링킹 전용 특징이나 외부 지식 기반 없이도 RELIC가 엔티티 연결에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 소수의 예시 엔티티만 제공된 경우에 RELIC 임베딩가 카테고리 재구성에 얼마나 효과적인가?
• RQ5 증거 문서에 접근할 수 없음에도 불구하고, 임베딩 공간 내에서 가장 가까운 이웃 검색을 통해 복잡한 트리비아 질문을 해결할 수 있는가?

주요 결과

• TypeNet 벤치마크에서 소수 데이터 설정에서 이전 작업 대비 64%의 오류 감소를 기록하여 엔티티 타이핑에서 뛰어난 성능을 입증했다.
• CoNLL-Aida 엔티티 연결 벤치마크에서 링킹 전용 특징이나 외부 지식 기반 없이도 최신 기술 수준의 정확도 94.9%를 달성했다.
• TAC-KBP 2010에서 앨리아스 테이블, 외부 지식 기반, 도메인 내 훈련 데이터 없이도 엔티티 연결 정확도 89.8%를 달성했다.
• Nearest neighbor 검색을 통해 RELIC는 TriviaQA 질문의 51%를 정확히 답변했으며, '_berlin의 스파운트 감방의 마지막 수감자는 누구였는가?'와 같은 복잡한 질문도 포함되었다.
• 소수의 예시 엔티티만 제공된 경우에도 강력한 카테고리 재구성 성능를 보였으며, '스코티시 축구선수' 카테고리에 대해 3개의 예시만으로 상위 5개 예측의 67.10%를 정확히 식별했다.
• 표현 형태가 아닌 문맥 매칭에 대해 엔티티 인코더를 훈련시키는 것이 엔티티 타이핑 및 질문 응답 작업에서 더 나은 표현을 이끌어냈다.