[논문 리뷰] Tracking the World State with Recurrent Entity Networks

Mikael Henaff, Jason Weston외 3명|arXiv (Cornell University)|2016. 12. 12.

Topic Modeling인용 수 157

한 줄 요약

논문은 Recurrent Entity Network(EntNet)를 소개하며, 세계 상태를 추적하기 위한 병렬 동적 메모리 슬롯이 있는 메모리 보강 모델로 bAbI 태스크에서 최첨단 결과를 달성하고 단일 패스 읽기로 CBT에서도 강력한 성능을 보인다.

ABSTRACT

We introduce a new model, the Recurrent Entity Network (EntNet). It is equipped with a dynamic long-term memory which allows it to maintain and update a representation of the state of the world as it receives new data. For language understanding tasks, it can reason on-the-fly as it reads text, not just when it is required to answer a question or respond as is the case for a Memory Network (Sukhbaatar et al., 2015). Like a Neural Turing Machine or Differentiable Neural Computer (Graves et al., 2014; 2016) it maintains a fixed size memory and can learn to perform location and content-based read and write operations. However, unlike those models it has a simple parallel architecture in which several memory locations can be updated simultaneously. The EntNet sets a new state-of-the-art on the bAbI tasks, and is the first method to solve all the tasks in the 10k training examples setting. We also demonstrate that it can solve a reasoning task which requires a large number of supporting facts, which other methods are not able to solve, and can generalize past its training horizon. It can also be practically used on large scale datasets such as Children's Book Test, where it obtains competitive performance, reading the story in a single pass.

연구 동기 및 목표

• 텍스트를 처리하는 동안 동적 세계 상태 표현의 필요성을 동기화한다.
• 입력에 조건화된 게이팅 메커니즘으로 엔티티별 표현을 업데이트하는 병렬 게이트드 메모리 슬롯이 있는 메모리 보강 신경망을 제안한다.
• EntNet가 모든 bAbI 태스크를 해결하고 학습 시점 horizon을 넘어선 더 긴 시퀀스로 일반화된다는 것을 시연한다.
• 단일 패스 읽기로 CBT에서 경쟁력 있는 결과를 보여준다.

제안 방법

• 고정된 수의 메모리 슬롯을 갖는 EntNet를 제안하며, 각 슬롯은 키 w_j와 콘텐츠 h_j를 가지며 입력에 의해 조건부로 업데이트되는 게이팅 메커니즘을 갖는다.
• 공유 매개변수를 갖는 게이트드 RNN의 병렬 세트(메모리 블록)를 사용하여 개념-엔티티 다이내믹스를 모델링한다.
• 각 슬롯의 업데이트를 결정하는 콘텐츠 기반 및 위치 기반 게이팅 함수 g_j = sigmoid(s_t^T h_j + s_t^T w_j)를 정의한다.
• 입력 토큰을 학습된 마스크와 합산으로 고정 길이 벡터 s_t로 집계하는 입력 인코더를 제공한다.
• 출력 모듈은 일회성 Memory Network와 유사하게 작동하여 q^T h_j로 기억을 가중하고 이를 조합하여 정답을 예측한다.
• 출력이 필요한 시점에서의 그래디언트를 역전파를 통해 시간에 따라 전파하며 전체 시스템을 학습한다.

실험 결과

연구 질문

• RQ1 고정 크기의 병렬 메모리 보강 네트워크가 순차 텍스트를 처리하는 동안 내부 세계 모델을 유지하고 업데이트할 수 있는가?
• RQ2 EntNet가 더 긴 추론 시퀀스로 확장되어 학습 Horizon을 넘어 일반화할 수 있는가?
• RQ3 표준 추론 벤치마크(bAbI)와 실제 데이터와 같은 CBT에서 이전 메모리 아키텍처에 비해 EntNet의 성능은 어떠한가?

주요 결과

• EntNet가 20개의 bAbI 태스크를 학습 샘플 10k로 해결하며 새로운 최첨단 성과를 달성했다.
• 모델은 학습 중 본 시퀀스보다 더 긴 시퀀스로 일반화하여 세계 역학을 학습했음을 보여준다.
• 합성 World Model 태스크에서 EntNet는 시퀀스 길이가 증가하고 학습 horizon을 넘어 일반화함에 따라 MemN2N 및 LSTM보다 우수한 성능을 보인다.
• EntNet는 CBT에서 경쟁력 있는 결과를 달성하며, 단일 패스 모델 중 Named Entities와 Common Nouns 태스크에서 단순화된 변형이 최상위 성능을 보인다.