[논문 리뷰] Gated End-to-End Memory Networks

Julien Pérez, Fei Liu|arXiv (Cornell University)|2016. 10. 13.

Topic Modeling참고 문헌 19인용 수 10

한 줄 요약

이 논문은 메모리 강화 신경망에서 메모리 액세스를 동적으로 조절할 수 있는 미분 가능 게이팅 메커니즘을 도입한 새로운 아키텍처인 게이팅 엔드 투 엔드 메모리 네트워크(GMemN2N)를 제안한다. 추가적인 감독 없이도 모델이 메모리 힙스를 건너뛸 시점과 방식을 엔드 투 엔드로 학습할 수 있도록 함으로써, 위치 추론과 3-인자 관계를 포함한 어려운 bAbI 작업 및 DSTC-2 대화 벤치마크에서 최신 기술 성능(SOTA)을 달성한다.

ABSTRACT

Machine reading using differentiable reasoning models has recently shown remarkable progress. In this context, End-to-End trainable Memory Networks, MemN2N, have demonstrated promising performance on simple natural language based reasoning tasks such as factual reasoning and basic deduction. However, other tasks, namely multi-fact question-answering, positional reasoning or dialog related tasks, remain challenging particularly due to the necessity of more complex interactions between the memory and controller modules composing this family of models. In this paper, we introduce a novel end-to-end memory access regulation mechanism inspired by the current progress on the connection short-cutting principle in the field of computer vision. Concretely, we develop a Gated End-to-End trainable Memory Network architecture, GMemN2N. From the machine learning perspective, this new capability is learned in an end-to-end fashion without the use of any additional supervision signal which is, as far as our knowledge goes, the first of its kind. Our experiments show significant improvements on the most challenging tasks in the 20 bAbI dataset, without the use of any domain knowledge. Then, we show improvements on the dialog bAbI tasks including the real human-bot conversion-based Dialog State Tracking Challenge (DSTC-2) dataset. On these two datasets, our model sets the new state of the art.

연구 동기 및 목표

• 다중 사실 질문 응답, 위치 추론, 대화 이해와 같은 복잡한 추론 작업에서 표준 MemN2N의 한계를 해결하기 위해.
• 외부 감독 없이도 동적이고 학습 가능한 메모리 액세스 제어를 가능하게 하는 미분 가능한 게이팅 메커니즘을 개발하기 위해.
• 어려운 bAbI 작업과 실제 대화 데이터셋인 DSTC-2에서의 추론 성능을 향상시키기 위해.
• 모델의 주의 분포와 게이팅 행동을 분석하여 그 추론 역학을 이해하기 위해.

제안 방법

• MemN2N의 메모리 힙스 간 정보 흐름을 조절하는 트랜스폼 게이팅 메커니즘을 도입한다.
• 게이팅 값은 각 힙스에서 컨트롤러의 은닉 상태에 적용된 미분 가능한 함수에 의해 계산되며, 이는 엔드 투 엔드 학습을 가능하게 한다.
• 모델은 잔차 스타일 연결을 사용하여 각 힙스의 출력을 게이팅 값으로 입력과 결합한다.
• 게이팅 메커니즘은 관련이 없는 메모리 힙스를 건너뛸 수 있도록 하여 잘못된 주의에서 유래하는 노이즈 누적을 줄인다.
• 표준 MemN2N 아키텍처를 유지하면서 각 힙스에 학습 가능한 게이팅을 추가하고, 최종 예측은 게이팅 출력에 대해 소프트맥스 레이어를 사용한다.
• 게이팅 결정을 위한 보조 감독 없이도 표준 역전파를 사용해 엔드 투 엔드로 모델을 학습한다.

실험 결과

연구 질문

• RQ1 미분 가능한 게이팅 메커니즘이 복잡한 작업에서 엔드 투 엔드 메모리 네트워크의 추론 성능을 향상시킬 수 있는가?
• RQ2 동적으로 메모리 힙스를 건너뛸 수 있는 능력이 다단계 추론 및 대화 작업에서 더 나은 일반화 성능을 이끌어내는가?
• RQ3 학습된 게이팅 메커니즘이 주의 분포와 추론 경로 선택에 어떤 영향을 미치는가?
• RQ4 외부 지식이나 작업 전용 감독 없이도 모델이 최신 기술 성능을 달성할 수 있는가?

주요 결과

• GMemN2N는 도메인 지식을 전혀 사용하지 않아도 가장 도전적인 bAbI 작업, 즉 위치 추론과 3-인자 관계에서 새로운 최신 기술 성능을 달성한다.
• DSTC-2 대화 벤치마크에서 모델은 새로운 최신 기술 성능을 수립하여 실제 인간-봇 대화 추적에서 뛰어난 성능을 보였다.
• t-SNE 시각화 결과에 따르면, 정답이 뚜렷한 클러스터를 이룬다. 이는 모델이 관련 있는 사실에 주의를 집중함을 보여준다.
• 주의 패턴 분석 결과, GMemN2N는 초기에 노이즈가 많은 힙스에 의존하는 것을 줄이며 낮은 게이팅 값을 할당함으로써 MemN2N와 달리 잘못된 정보의 누적을 줄인다.
• bAbI 태스크 5의 정성적 분석에서 GMemN2N는 축구공을 건넨 사람이 프레드임을 올바르게 식별하지만, MemN2N는 주의의 이탈로 메리로 잘못 예측한다.
• 평균 트랜스폼 게이팅 값은 GMemN2N가 관련 없는 힙스를 억제하는 것을 학습하고 있음을 보여주며, 높은 게이팅 값은 가장 관련 있는 힙스에 집중되어 있다.