[논문 리뷰] Dynamic Entity Representations in Neural Language Models

Yangfeng Ji, Chenhao Tan외 3명|arXiv (Cornell University)|2017. 08. 02.

Topic Modeling참고 문헌 20인용 수 11

한 줄 요약

이 논문은 문맥 내에서 엔티티의 분산 표현을 동적으로 유지하고 업데이트하는 생성형 신경망 언어 모델인 EntityNLM을 제안한다. 이를 통해 언어 모델링, 공명 해결 및 엔티티 예측 성능을 향상시킨다. 엔티티와 그들의 변화하는 표현을 명시적으로 추적함으로써, 이 모델은 세 가지 과제에서 강력한 기준 모델들을 능가하며, 순차 생성에서 동적 엔티티 모델링의 가치를 입증한다.

ABSTRACT

Understanding a long document requires tracking how entities are introduced and evolve over time. We present a new type of language model, EntityNLM, that can explicitly model entities, dynamically update their representations, and contextually generate their mentions. Our model is generative and flexible; it can model an arbitrary number of entities in context while generating each entity mention at an arbitrary length. In addition, it can be used for several different tasks such as language modeling, coreference resolution, and entity prediction. Experimental results with all these tasks demonstrate that our model consistently outperforms strong baselines and prior work.

연구 동기 및 목표

• 기존 언어 모델이 장기간 문맥에서 엔티티와 그들의 변화하는 역할을 명시적으로 추적하는 데에 한계가 있음을 해결하기 위해.
• 문장 내에서 언급된 각 엔티티에 대해 동적이고 문맥에 민감한 표현을 유지하는 생성 모델을 개발하기 위해.
• 엔티티 전용 표현을 활용하여 공명 해결, 언어 모델링 및 엔티티 예측 성능을 향상시키기 위해.
• 통합된 프레임워크 내에서 언어 모델링, 공명 재정렬 및 엔티티 클로즈와 같은 다양한 추론 모드를 지원하기 위해.

제안 방법

• 모델은 각 토큰당 세 가지 핵심 랜덤 변수 R_t (언급 지표), L_t (현재 언급의 길이), E_t (엔티티 인덱스)를 갖는 순환 신경망 언어 모델을 확장한다.
• 각 엔티티는 언급될 때마다 동적으로 업데이트되는 연속 벡터 표현 e_i,t를 할당받으며, 이는 LSTM와 유사한 게이팅 업데이트 메커니즘을 사용한다.
• 모델은 계층적인 생성 스토리 구조를 사용한다: 엔티티 언급은 엔티티 표현에 기반하여 생성되며, 이는 후속 단어 예측에 영향을 준다.
• 엔티티 표현은 엔티티가 언급될 때만 업데이트되므로, 희소하고 문맥에 민감한 메모리 할당이 가능하다.
• 단어와 엔티티 변수에 대한 공동 가능도 목적함수를 사용하여, 엔티티 언급 및 공명 정보가 주석이 된 데이터에서 엔드 투 엔드로 훈련된다.
• 추론은 여러 모드를 지원한다: 전체 텍스트 생성, 마진화를 통한 공명 재정렬, 조건부 확률 추정을 통한 엔티티 예측.

실험 결과

연구 질문

• RQ1 신경망 언어 모델이 엔티티의 동적 표현을 명시적으로 유지하고 업데이트함으로써 장기간의 문맥 이해를 향상시킬 수 있는가?
• RQ2 동적 엔티티 표현을 통합할 경우 언어 모델링, 공명 해결 및 엔티티 예측 성능에 어떤 영향을 미치는가?
• RQ3 공유된 엔티티 표현을 활용함으로써 동일한 모델 아키텍처가 다양한 NLP 과제에 대해 민감하게 적용될 수 있는가?
• RQ4 동적 엔티티 모델링은 정적 또는 문맥 전용 엔티티 표현보다 더 나은 일반화 성능을 이끌어내는가?

주요 결과

• EntityNLM은 CoNLL 2012 언어 모델링 과제에서 강력한 n-gram 및 RNN 언어 모델을 능가하며, 명시적 엔티티 추적 덕분에 퍼플렉서티가 향상됨을 입증했다.
• 기존 시스템에서 생성한 k개의 최상위 출력을 재정렬하는 데 사용되었을 때, 공명 해결 성능이 크게 향상되었으며, CoNLL 2012 테스트 세트에서 최고 성능을 기록했다.
• InScript 엔티티 예측 코퍼스에서 EntityNLM은 사전 정의된 엔티티 유형에 의존하는 이전 방법들을 능가하는 최고 성능을 기록했다.
• 엔티티 언급을 문맥에 맞게 생성하고 엔티티 표현을 동적으로 업데이트할 수 있는 능력 덕분에, 더 일관되고 정확한 텍스트 생성이 가능해졌다.
• 이 프레임워크는 통합된 아키텍처 내에서 언어 모델링, 공명 해결 및 엔티티 예측 등의 다양한 추론 모드를 지원한다.