[논문 리뷰] Memory Augmented Neural Networks with Wormhole Connections

Çaǧlar Gülçehre, Sarath Chandar외 1명|arXiv (Cornell University)|2017. 01. 30.

Topic Modeling참고 문헌 8인용 수 44

한 줄 요약

이 논문은 장기 시퀀스에서 기울기 소실 문제를 완화하기 위해 외부 메모리와 통한 이산 웜홀 연결을 사용하는 메모리 보강 신경망인 TARDIS를 제안한다. 메모리 포화 후 연결된 읽기/쓰기 헤드를 통해 과거의 은닉 상태를 저장하고 검색함으로써 TARDIS는 효율적인 장기 의존성 학습을 가능하게 하며, 알고리즘 작업에서 최고 성능을 기록하고 SNLI 및 순차적 MNIST와 같은 실제 NLP 벤치마크에서 경쟁력 있는 성과를 달성한다.

ABSTRACT

Recent empirical results on long-term dependency tasks have shown that neural networks augmented with an external memory can learn the long-term dependency tasks more easily and achieve better generalization than vanilla recurrent neural networks (RNN). We suggest that memory augmented neural networks can reduce the effects of vanishing gradients by creating shortcut (or wormhole) connections. Based on this observation, we propose a novel memory augmented neural network model called TARDIS (Temporal Automatic Relation Discovery in Sequences). The controller of TARDIS can store a selective set of embeddings of its own previous hidden states into an external memory and revisit them as and when needed. For TARDIS, memory acts as a storage for wormhole connections to the past to propagate the gradients more effectively and it helps to learn the temporal dependencies. The memory structure of TARDIS has similarities to both Neural Turing Machines (NTM) and Dynamic Neural Turing Machines (D-NTM), but both read and write operations of TARDIS are simpler and more efficient. We use discrete addressing for read/write operations which helps to substantially to reduce the vanishing gradient problem with very long sequences. Read and write operations in TARDIS are tied with a heuristic once the memory becomes full, and this makes the learning problem simpler when compared to NTM or D-NTM type of architectures. We provide a detailed analysis on the gradient propagation in general for MANNs. We evaluate our models on different long-term dependency tasks and report competitive results in all of them.

연구 동기 및 목표

• 장기 시퀀스 모델링 중 순환 네트워크에서 기울기 소실 문제를 해결한다.
• 훈련 중에 본 시퀀스보다 길어진 시퀀스로의 일반화를 향상시키기 위해 과거 은닉 상태에 효율적으로 접근할 수 있도록 한다.
• 연속적인 주목력 메커니즘에서 기인하는 기울기 분산을 피하기 위해 이산 주소 지정과 연결된 읽기/쓰기 동작을 사용함으로써 기존의 MANN(NTM, D-NTM 등)보다 간단하고 효율적인 메모리 메커니즘을 개발한다.
• 외부 메모리가 시간에 따라 기울기 흐름을 단축시키는 효과적인 '웜홀' 연결을 만들 수 있음을 입증한다.
• 알고리즘 작업과 실제 NLP 벤치마크를 모두 평가하여 모델의 강건성과 일반화 능력을 검증한다.

제안 방법

• 컨트롤러 은닉 상태를 저장하기 위해 외부 메모리 행렬을 사용하는 메모리 보강 RNN인 TARDIS를 제안한다.
• 연속적인 주목력 메커니즘에서 기인하는 기울기 분산을 피하기 위해 읽기 및 쓰기 동작에 대해 이산 주소 지정을 사용한다.
• 메모리가 포화된 후에는 읽기 및 쓰기 헤드를 연결하여, 학습된 라우팅이 아닌 히우리스틱을 통해 저장된 상태를 재접근할 수 있도록 한다.
• 메모리 슬롯에 순서대로 시퀀스 은닉 상태를 저장하다가 포화에 도달하면, 선택적 검색을 위해 연결된 헤드를 사용한다.
• 이산 메모리 동작의 미분 가능 훈련을 위해 Gumbel-Softmax와 보조 비용을 포함한 REINFORCE를 적용한다.
• 메모리 접근을 학습된 메커니즘으로 통합하여 컨트롤러가 과거 표현에 동적으로 접근할 수 있도록 하며, 시간에 따라 '웜홀' 연결을 형성한다.

실험 결과

연구 질문

• RQ1 MANN의 외부 메모리가 시간에 따라 기울기 소실 문제를 줄이기 위해 단축 연결을 만들 수 있는가?
• RQ2 기울기 안정성과 훈련 효율성 측면에서 이산 주소 지정은 연속 주소 지정보다 어떻게 비교되는가?
• RQ3 메모리 보강 RNN에서 단순한 연결된 읽기/쓰기 메커니즘이 NTM 및 D-NTM와 같은 복잡한 아키텍처를 초월할 수 있는가?
• RQ4 TARDIS는 훈련 중에 본 시퀀스보다 길어진 시퀀스로 얼마나 잘 일반화되는가?
• RQ5 웜홀 유사 메모리 연결을 사용할 경우, SNLI 및 순차적 MNIST와 같은 실제 NLP 작업에서 성능 향상이 이루어지는가?

주요 결과

• Gumbel-Softmax와 REINFORCE에 보조 비용을 적용한 TARDIS는 복사 및 연관 기억 작업 모두에서 100% 성공률을 기록했다.
• 순차적 MNIST 작업에서 TARDIS는 15자리 숫자에서 거의 완벽한 성능을 기록했으며, 표준 LSTM보다 뛰어나고 안정적인 수렴을 보였다.
• SNLI 벤치마크에서 Gumbel-Softmax를 사용한 TARDIS는 테스트 정확도 84.3%를 달성하여 베이스라인 LSTM 및 주목력 기반 모델을 능가했다.
• Gumbel-Softmax를 사용한 TARDIS는 REINFORCE 변형보다 더 빠르게 수렴하여 훈련 안정성과 효율성이 향상됨을 시사했다.
• 이론적 및 실증적 분석을 통해 메모리에서 유도된 웜홀 연결이 특히 장기 시퀀스에서 기울기 소실을 감소시킴을 확인했다.
• 모델는 훈련 중에 본 시퀀스보다 길어진 시퀀스로도 잘 일반화되어 외삽 능력이 뛰어나다는 점을 보였다.