[논문 리뷰] Dynamic Neural Turing Machine with Soft and Hard Addressing Schemes

Çaǧlar Gülçehre, Sarath Chandar외 2명|arXiv (Cornell University)|2016. 06. 30.

Ferroelectric and Negative Capacitance Devices참고 문헌 40인용 수 35

한 줄 요약

이 논문은 동적 신경 터링 머신(D-NTM)을 소개한다. D-NTM는 메모리 내의 콘텐츠 벡터와 함께 학습 가능한 주소 벡터를 사용하여 비선형적이고 위치 기반의 주소 할당 방식을 학습하는 새로운 NTM 변종이다. 연속적이고 이산적인 주의 메커니즘을 조합함으로써 D-NTM는 Facebook bAbI 작업에서 NTM 및 LSTM 기준선을 능가하며, 특히 에피소드 기반 질의 응답 작업에서 이산적 주의 메커니즘이 뛰어난 성능을 보여, 더 나은 메모리 제어와 장기 의존성 학습 능력을 입증한다.

ABSTRACT

We extend neural Turing machine (NTM) model into a dynamic neural Turing machine (D-NTM) by introducing a trainable memory addressing scheme. This addressing scheme maintains for each memory cell two separate vectors, content and address vectors. This allows the D-NTM to learn a wide variety of location-based addressing strategies including both linear and nonlinear ones. We implement the D-NTM with both continuous, differentiable and discrete, non-differentiable read/write mechanisms. We investigate the mechanisms and effects of learning to read and write into a memory through experiments on Facebook bAbI tasks using both a feedforward and GRUcontroller. The D-NTM is evaluated on a set of Facebook bAbI tasks and shown to outperform NTM and LSTM baselines. We have done extensive analysis of our model and different variations of NTM on bAbI task. We also provide further experimental results on sequential pMNIST, Stanford Natural Language Inference, associative recall and copy tasks.

연구 동기 및 목표

• 기존 NTM에서 고정된 선형 주소 할당 방식의 한계를 해결하기 위해 학습 가능한 비선형적 위치 기반 주소 할당 방식을 도입한다.
• 동적 주소 할당 메커니즘이 복잡한 실세계 작업, 예를 들어 에피소드 기반 질의 응답 및 자연어 추론과 같은 작업에서 더 높은 성능을 내는지 평가한다.
• 연속적이고 미분 가능한 주의 메커니즘과 비교하여 메모리 네트워크에서 이산적이고 비가역적인 주의 메커니즘의 효과성을 조사한다.
• D-NTM의 일반화 및 확장성 능력을 다양한 작업, 즉 알고리즘 기반 벤치마크와 순차적 학습 작업에서 평가한다.
• 사용자 작업에 특화된 수정 없이도 통합된 모델 아키텍처를 제공함으로써 NTM 및 LSTM 기준선과의 공정한 비교를 가능하게 한다.

제안 방법

• 메모리 셀이 학습 가능한 콘텐츠 벡터와 학습 가능한 주소 벡터를 모두 저장하는 이중 벡터 메모리 구조를 도입함으로써 NTM을 확장한다.
• 읽기 및 写기 작업에 대해 연속적(가능한) 주의 메커니즘과 이산적(가능하지 않은) 주의 메커니즘을 모두 사용한다.
• 현재 입력과 메모리 상태에 기반하여 읽기/쓰기 작업을 생성하기 위해 GRU 또는 피드포워드 컨트롤러를 사용한다.
• 비가역성에도 불구하고 엔드 투 엔드 학습을 가능하게 하기 위해 REINFORCE에 기반한 백그라운드 추정 기법을 사용하여 이산적 주의 메커니즘을 훈련시킨다.
• 메모리 할당 및 삭제를 처리하기 위해 최소 최근 사용(LRU) 메모리 관리 전략을 구현한다.
• 훈련 안정성과 성능 향상을 위해 피드포워드 컨트롤러에 대해 커리큘럼 학습을 적용한다.

실험 결과

연구 질문

• RQ1 학습 가능한 비선형 주소 할당 방식이 복잡한 실세계 작업에서 신경 터링 머신의 성능을 향상시킬 수 있는가?
• RQ2 정확한 메모리 검색이 필요한 작업에서 이산적 주의 메커니즘이 연속적 주의 메커니즘보다 성능이 뛰어나게 되는가?
• RQ3 사용자 작업에 특화된 아키텍처 수정 없이도 D-NTM가 bAbI, 순차적 p-MNIST, SNLI 및 알고리즘 작업 등 다양한 작업에 일반화 가능한가?
• RQ4 장기 의존성과 에피소드 메모리 처리에서 D-NTM는 LSTM 및 표준 NTM보다 어떻게 비교되는가?
• RQ5 커리큘럼 학습과 주의 메커니즘 선택은 모델이 복잡한 메모리 상호작용을 학습하는 데 어떤 영향을 미치는가?

주요 결과

• D-NTM는 Facebook bAbI 작업 전반에서 NTM 및 LSTM 기준선을 모두 능가하여 18개 전부의 작업에서 더 높은 정확도를 달성한다.
• GRU 컨트롤러를 사용한 D-NTM는 이산적 주의 메커니즘을 적용하여 스탠포드 자연어 추론(SNLI) 작업에서 80.9%의 테스트 정확도를 기록했으며, LSTM(77.6%) 및 NTM(80.2%)를 모두 초월한다.
• 순차적 p-MNIST 작업에서 D-NTM는 장기 의존성을 학습하는 데 뛰어난 성능을 보이며, 유사한 모델들을 능가한다.
• 연속적 주의 메커니즘을 사용한 D-NTM는 복사 및 연관 기억 회상 작업을 성공적으로 해결하지만, 이산적 주의 메커니즘을 사용한 변종은 연관 기억 회상 작업에서 실패함을 확인하여 작업에 따라 민감도가 있음을 시사한다.
• 이산적 주의 메커니즘이 에피소드 기반 질의 응답 작업에서 성능을 크게 향상시키며, 이는 연속적 주의 메커니즘보다 더 정밀한 메모리 접근을 가능하게 함을 시사한다.
• 피드포워드 컨트롤러와 이산적 주의 메커니즘을 함께 사용한 커리큘럼 학습은 성능 향상에 상당한 기여를 하며, 이는 훈련 안정성과 수렴성 향상에 있어 중요함을 입증한다.