[논문 리뷰] Neural Turing Machines

Alex Graves, Greg Wayne외 1명|arXiv (Cornell University)|2014. 10. 20.

Neural Networks and Applications참고 문헌 40인용 수 108

한 줄 요약

이 논문은 기저의 외부 메모리와 주목적 기반 읽기/쓰기 메커니즘을 갖춘 미분 가능한 신경망 아키텍처인 신경 터밍 기계(NTM)를 소개한다. 이는 경사 하강법을 통한 엔드 투 엔드 훈련을 가능하게 하며, 복사, 정렬, 연관 기억 회상과 같은 단순 알고리즘을 입력-출력 예시로부터 추론하고 실행할 수 있도록 한다. NTM는 알고리즘 작업에서 표준 RNN보다 뛰어난 성능을 보였다.

ABSTRACT

We extend the capabilities of neural networks by coupling them to external memory resources, which they can interact with by attentional processes. The combined system is analogous to a Turing Machine or Von Neumann architecture but is differentiable end-to-end, allowing it to be efficiently trained with gradient descent. Preliminary results demonstrate that Neural Turing Machines can infer simple algorithms such as copying, sorting, and associative recall from input and output examples.

연구 동기 및 목표

• 입력-출력 예시로부터 단순 알고리즘을 학습하고 실행할 수 있는 신경망 아키텍처를 개발하는 것.
• 외부 메모리와 논리적 흐름 제어가 필요한 복잡한 데이터 변환을 처리하는 데에 한계가 있는 표준 RNN의 문제를 해결하는 것.
• 터닝 기계와 작업 기억을 모델로 삼아, 기저의 학습을 통한 알고리즘 절차 학습이 가능한, 미분 가능한 엔드 투 엔드 훈련 가능한 시스템을 만드는 것.
• 신경망이 알고리즘 작업을 수행하기 위해 메모리를 체계적이고 주소 지정 가능한 방식으로 사용할 수 있는지 조사하는 것.
• 학습 데이터를 초월한 일반화 능력을 입증하기 위해, 학습된 메모리 연산을 사용하여 정렬 및 연관 기억 회상과 같은 작업을 수행할 수 있도록 하는 것.

제안 방법

• NTM는 주목적 기반 메커니즘을 통해 읽기 및 쓰기 작업이 가능한, 미분 가능한 메모리 행렬을 통합한다.
• 컨트롤러 네트워크(전방향 전파 또는 LSTM 기반)는 특정 메모리 위치를 선택하기 위해 읽기 및 쓰기 주목적 벡터를 생성한다.
• 읽기 연산은 콘텐츠 기반 및 위치 기반 주소 지정에 기반하여 메모리 벡터의 가중 평균을 계산한다.
• 쓰기 연산은 학습 가능한 쓰기 게이트를 갖춘, 미분 가능한 읽기-수정-쓰기 프로세스를 사용하여 메모리 위치를 업데이트한다.
• 이 아키텍처는 다중 읽기 및 쓰기 헤드를 지원하여 복잡한 작업을 위한 메모리의 병렬 액세스를 가능하게 한다.
• 전체 시스템은 기울기 클리핑과 RMSProp 최적화를 사용한 역전파를 통해 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 외부의, 미분 가능한 메모리를 사용하여 복사 및 정렬과 같은 알고리즘 작업을 수행할 수 있는 신경망이 학습할 수 있는가?
• RQ2 NTM는 훈련 중에 관찰하지 못한 길이의 시퀀스로 일반화할 수 있는가? 이는 진정한 알고리즘 학습을 의미하는가?
• RQ3 표준 RNN과 비교해 복잡한 메모리 작업에서 주목적 기반 주소 지정이 성능에 어떤 영향을 미치는가?
• RQ4 정렬 메커니즘에 대한 명시적 지도 없이도 NTM가 우선순위 값에 기반해 시퀀스를 정렬할 수 있는가?
• RQ5 NTM의 메모리 사용 방식이 이진 힙과 같은 알려진 데이터 구조를 실제로 어떻게 이행하는가?

주요 결과

• NTM는 다양한 길이의 시퀀스를 복사하는 데 성공했으며, 훈련 시퀀스 길이를 초월한 일반화를 보였다.
• 연관 기억 회상 작업에서 NTM는 훈련 중에 본 적이 없는 테스트 시퀀스에서도 높은 정확도를 달성하여 강력한 일반화 능력을 보였다.
• 우선순위 정렬 작업에서 NTM는 입력 우선순위의 선형 함수에 매우 가까운 메모리 쓰기 패턴을 사용하여 힙 유사한 구조를 학습한 것으로 나타났다.
• LSTM 기반 컨트롤러를 사용한 NTM는 피드포워드 컨트롤러와 표준 LSTM 네트워크보다 우선순위 정렬 작업에서 더 뛰어난 성능을 보였으며, 특히 다중 읽기/쓰기 헤드를 사용할 경우 더욱 두드러졌다.
• 8개의 읽기/쓰기 헤드와 LSTM 컨트롤러를 갖춘 NTM는 우선순위 정렬 작업에서 거의 완벽한 성능을 달성하여 효과적인 메모리 주소 지정 사용을 입증했다.
• NTM의 파라미터 수는 메모리 크기와 무관하게 증가하지 않아, 표준 RNN과 달리 큰 메모리 행렬에 대해 확장 가능한 구조를 가졌다.