[논문 리뷰] Learning Operations on a Stack with Neural Turing Machines

Tristan Deleu, Joseph Dureau|arXiv (Cornell University)|2016. 12. 02.

Topic Modeling참고 문헌 7인용 수 7

한 줄 요약

이 논문은 신경 터미팅 기계(NTM)가 스택을 모방하기 위해 읽기 및 쓰기 헤드를 사용함으로써 명시적인 스택 연산 없이도 잘 균형 잡힌 괄호 문자열(Dyck 단어)을 학습할 수 있음을 보여준다. NTM은 훈련 길이의 20배 길이에 이르는 시퀀스로 강한 일반화 성능을 보이며, 메모리 주소 기반 알고리즘 학습 능력을 통해 장거리 시퀀스에서 LSTMs보다 뛰어난 성능을 발휘한다.

ABSTRACT

Multiple extensions of Recurrent Neural Networks (RNNs) have been proposed recently to address the difficulty of storing information over long time periods. In this paper, we experiment with the capacity of Neural Turing Machines (NTMs) to deal with these long-term dependencies on well-balanced strings of parentheses. We show that not only does the NTM emulate a stack with its heads and learn an algorithm to recognize such words, but it is also capable of strongly generalizing to much longer sequences.

연구 동기 및 목표

• 신경 터미팅 기계(NTM)가 Dyck 언어와 같은 형식 언어에서 알고리즘 계산을 학습할 수 있는지 조사하기.
• NTM이 명시적인 스택 연산 없이도 스택 데이터 구조를 모방할 수 있는지 검토하기.
• 모델이 훈련 분포를 초월한 더 긴 시퀀스로 강한 일반화 능력을 보일 수 있는지 평가하기.
• NTM의 성능을 LSTMs와 Dyck 멤버십 문제에서 비교하기.
• NTM의 메모리 및 주소 기반 메커니즘이 알고리즘적 추론을 어떻게 지원하는지 분석하기.

제안 방법

• NTM은 100개의 은닉 유닛을 가진 피드포워드 컨트롤러, 하나의 읽기 헤드, 하나의 쓰기 헤드, 크기가 20인 128개의 메모리 위치로 구성된 메모리 뱅크를 사용한다.
• 읽기 및 쓰기 연산은 콘텐츠 기반 및 위치 기반 주소 기반 메커니즘을 통해 제어되며, 메모리에 대한 소프트 어텐션을 위한 미분 가능한 가중치를 사용한다.
• 읽기 헤드는 어텐션 가중치를 사용해 메모리 행의 가중 평균을 계산하고, 쓰기 헤드는 컨트롤러가 생성한 삭제 및 추가 벡터를 사용해 삭제-추가 연산을 수행한다.
• 모델은 이진 분류 작업인 Dyck 단어 멤버십 문제를 위해 고정 학습률 0.001과 배치 크기 16을 사용한 Adam 옵timizer로 훈련된다.
• 컨트롤러는 입력 기호(u는 '업', d는 '다운')를 처리하고, 읽기 헤드를 통해 메모리 위치에 대한 어텐션을 통해 현재 스택 깊이를 암묵적으로 추적한다.
• 모델의 행동은 어텐션 가중치를 시각화하고 Dyck 단어의 그래픽 경로 표현과 비교함으로써 분석된다.

실험 결과

연구 질문

• RQ1 NTM이 명시적인 스택 연산 없이 오직 메모리와 주소 기반 메커니즘에 의존하여 Dyck 단어를 인식할 수 있는가?
• RQ2 시퀀스 처리 중 NTM의 읽기 헤드 행동은 스택 연산과 어떻게 관련이 있는가?
• RQ3 NTM은 훈련 중에 관찰한 것보다 훨씬 긴 시퀀스로 어느 정도 일반화할 수 있는가?
• RQ4 NTM은 Dyck 언어에서 장거리 시퀀스에서 표준 LSTM과 비교해 어떻게 성능을 내는가?
• RQ5 메모리 뱅크 크기가 모델이 스택을 모방하고 일반화 능력을 발휘하는 데 어떤 역할을 하는가?

주요 결과

• NTM은 읽기 헤드를 사용해 불균형이 없는 괄호의 깊이를 추적함으로써 스택을 성공적으로 모방한다. 'u'에서는 위로, 'd'에서는 아래로 이동한다.
• 모델은 훈련 시퀀스보다 20배 길이인 길이 240까지의 Dyck 단어에서 거의 완벽한 성능을 기록하며, 강한 일반화 능력을 보인다.
• NTM의 AUC는 훈련 범위보다 20배 길이의 시퀀스까지 거의 1.0에 수렴하는 고수준을 유지하지만, LSTM의 AUC는 길이 200를 초월해 급격히 감소한다.
• NTM은 메모리에 최소한의 쓰기 작업을 수행하며, 스택 행동을 시뮬레이션하기 위해 읽기 헤드의 어텐션 패턴에 의존한다.
• 메모리 오버플로우로 인해 약 n ≈ 120에서 NTM의 일반화 실패가 발생한다. 스택 모방 능력은 128개의 메모리 위치로 제한되기 때문이다.
• 불일치하는 닫는 괄호 이후 비-Dyck 단어를 정확히 분류할 수 있다는 점에서, NTM은 패턴을 암기하는 것이 아니라 알고리즘적 해법을 학습한다.