[논문 리뷰] The Referential Reader: A Recurrent Entity Network for Anaphora Resolution

Fei Liu, Luke Zettlemoyer외 1명|arXiv (Cornell University)|2019. 02. 05.

Topic Modeling참고 문헌 19인용 수 4

한 줄 요약

논문은 고정 크기의 메모리로 엔티티 참조를 유지하면서 온라인 텍스트 처리 중에 애너포리를 점진적으로 해결하는 가분산 가능한 반복적 엔티티 네트워크인 Referential Reader를 제안한다. 이 모델은 학습 가능한 게이트를 사용해 메모리 셀을 업데이트하거나 덮어쓰며, 감독된 공통 참조 및 비감독적 언어 모델링 목적을 함께 사용한 엔드 투 엔드 훈련을 통해 GAP 데이터셋에서 뛰어난 성능을 달성한다.

ABSTRACT

We present a new architecture for storing and accessing entity mentions during online text processing. While reading the text, entity references are identified, and may be stored by either updating or overwriting a cell in a fixed-length memory. The update operation implies coreference with the other mentions that are stored in the same cell; the overwrite operation causes these mentions to be forgotten. By encoding the memory operations as differentiable gates, it is possible to train the model end-to-end, using both a supervised anaphora resolution objective as well as a supplementary language modeling objective. Evaluation on a dataset of pronoun-name anaphora demonstrates strong performance with purely incremental text processing.

연구 동기 및 목표

• 멘션-페어 모델의 한계를 해결할 것. 이는 배치 처리 방식으로 인해 계산 비용이 높고, 인간의 인지적 처리 방식과 부합하지 않기 때문이다.
• 텍스트를 점진적으로 처리하여 인간과 유사한 온라인 참조 해결을 모방할 수 있는 모델을 개발할 것.
• 감독된 공통 참조 해결 및 비감독적 언어 모델링 목적을 함께 사용한 엔드 투 엔드 훈련을 통해 일반화 성능을 향상시킬 것.
• 온라인 업데이트 및 덮어쓰기를 지원하는 가분산 메모리 메커니즘을 통합할 것. 이는 명도 기반 메모리 유지 전략을 포함한다.
• 점진적 처리를 통해 GAP 데이터셋에서 대명사-이름 애너포라 해결에 대해 모델의 효과성을 입증할 것.

제안 방법

• 키(쿼리 표현), 값(엔티티 임베딩), 명도로 구성된 (키, 값, 명도) 튜플의 고정 길이 메모리로 엔티티를 표현할 것.
• 입력 토큰과 이전 히든 상태에서 유도된 사전-반복 상태를 통해 가분산 게이트를 사용해 메모리 동작을 제어할 것.
• 사전-반복 상태의 시그모이드 게이트를 사용해 엔티티 참조 후보로 토큰이 해당되는지 판단할 것.
• 사전-반복 상태에서 유도된 쿼리 벡터를 통해 메모리 키에 대한 어텐션을 수행해 잠재적 전행자를 식별할 것.
• 업데이트 및 덮어쓰기 게이트를 연속적이고 가분산 가능한 함수로 적용할 것: 업데이트 게이트는 참조 확률에 가중된 어텐션 점수이며, 덮어쓰기 게이트는 메모리 내용을 교체할지 결정하는 학습 가능한 결정이다.
• 다이나믹 게이트를 통해 메모리 상태를 GRU 히든 상태 업데이트에 통합할 것. 이는 이전 히든 상태와 메모리 기여도의 균형을 조절한다.

실험 결과

연구 질문

• RQ1 가분산적, 엔드 투 엔드 훈련 가능한 메모리 네트워크가 점진적 애너포라 해결에서 뛰어난 성능을 달성할 수 있는가?
• RQ2 준감독 설정에서 비감독적 언어 모델링 사전 훈련이 공통 참조 해결 성능을 얼마나 향상시킬 수 있는가?
• RQ3 모델은 실시간 처리에서 핵심 참조 사슬과 카타포르릭 참조를 얼마나 잘 처리하는가?
• RQ4 메모리 명도 메커니즘이 중요한 엔티티를 효과적으로 우선순위화하고 관련 전행자를 덮어쓰는 것을 줄이는가?
• RQ5 명시적 언어학적 감독 없이도 모델이 문법적 명도 패턴(예: 주어 대비 국어구)을 학습할 수 있는가?

주요 결과

• Referential Reader는 언어 모델링 목적을 함께 훈련할 경우 GAP 테스트 세트에서 F1 점수 71.4를 기록하며, 감독 학습 전용 기준 모델을 능가한다.
• 모델은 강력한 점진적 처리 행동을 보이며, 전체 문서의 맥락을 필요로 하지 않고도 실시간으로 참조를 해결한다.
• 언어 모델링 목적의 포함으로 성능 향상이著명하며, 공통 참조 목적만 사용할 경우의 F1 점수 감소를 크게 줄였다.
• 낮은 명도를 가진 참조(예: 국어구 내 이름)를 무시하고 대명사 및 고명도 엔티티를 우선순위로 삼아 중심 이론 원칙과 일치한다.
• 시각화 결과는 복잡한 경우, 예를 들어 문장 후반에서 'Avant'로 돌아가는 'his'와 같은 카타포르릭 참조의 경우에도 모델이 정확히 핵심 참조 링크를 형성함을 보여준다.
• 모델의 메모리 명도 메커니즘이 장거리 스코프 동안 관련 엔티티를 효과적으로 유지하여 불필요한 덮어쓰기를 줄이고 장거리 공통 참조 해결 성능을 향상시킨다.