[논문 리뷰] Implementing Neural Turing Machines

Mark Collier, Joeran Beel|arXiv (Cornell University)|2018. 07. 23.

Domain Adaptation and Few-Shot Learning참고 문헌 9인용 수 9

한 줄 요약

이 논문은 복사, 반복 복사, 연관 기억 회상과 같은 세 가지 벤치마크 시퀀스 학습 과제에서 원본 NTM 성능을 성공적으로 재현한 안정적이고 고성능의 신경 터잉 머신(NTM) 구현을 제시한다. 주요 기여는 기억 콘텐츠의 일정한 초기화가 빠르고 신뢰할 수 있는 학습을 가능하게 하는 핵심 요소임을 규명한 것으로, 다른 방법보다 학습 수렴 속도가 2배 빠르며, 공개적으로 이용 가능한 안정적인 텐서플로우 기반 구현을 함께 제공한다.

ABSTRACT

Neural Turing Machines (NTMs) are an instance of Memory Augmented Neural Networks, a new class of recurrent neural networks which decouple computation from memory by introducing an external memory unit. NTMs have demonstrated superior performance over Long Short-Term Memory Cells in several sequence learning tasks. A number of open source implementations of NTMs exist but are unstable during training and/or fail to replicate the reported performance of NTMs. This paper presents the details of our successful implementation of a NTM. Our implementation learns to solve three sequential learning tasks from the original NTM paper. We find that the choice of memory contents initialization scheme is crucial in successfully implementing a NTM. Networks with memory contents initialized to small constant values converge on average 2 times faster than the next best memory contents initialization scheme.

연구 동기 및 목표

• 원본 NTM 성능을 재현할 수 있는 안정적이고 재현 가능한 오픈소스 NTM 구현의 부족을 해결하기 위해.
• 학습 안정성과 수렴 속도에 크게 영향을 주는 핵심 구현 선택 사항—특히 기억 콘텐츠 초기화 방식—을 규명하고 평가하기 위해.
• 표준 시퀀스 학습 과제에서 발표된 성능를 충족하는 신뢰할 수 있고 성능이 뛰어난 TensorFlow 기반 NTM 구현을 개발하고 공개하기 위해.
• 기존의 랜덤 또는 학습된 초기화 방법보다 기억 콘텐츠의 일정한 초기화가 수렴 속도 측면에서 더 빠른지 확인하기 위해.

제안 방법

• 컨트롤러 네트워크와 읽기/쓰기 헤드를 갖춘 구현은 소프트 주의 메커니즘을 통해 외부 기억 행렬에 액세스하며, 콘텐츠 기반 및 위치 기반 주의의 조합을 사용한다.
• 주요 주의 메커니즘은 연속적인 연산을 통해 주의 가중치를 계산한다: 콘텐츠 기반 가중치(식 1), 시간 간격 보간(식 3), 이동 기반 반복(식 4), 날카움 조정(식 5).
• 기억 업데이트는 삭제 및 추가 벡터를 사용하여 수행되며(식 7–8), 주의 가중치에 따라 정밀한 쓰기 연산을 가능하게 한다.
• 다섯 가지 기억 초기화 방법—일정, 랜덤, 학습된, Xavier, He 초기화—를 비교하여 세 가지 시퀀스 과제에서 수렴 속도와 안정성 평가를 수행한다.
• 최종 구현은 기억 콘텐츠에 대해 일정한 초기화를 사용하며, 컨트롤러 헤드의 파라미터 계산 및 인터페이스 설계를 최적화하여 학습 안정성 향상과 텐서플로우 통합을 개선한다.
• 학습 평가는 복사, 반복 복사, 연관 기억 회상과 같은 세 가지 표준 과제에서 수행되며, 10번의 학습 런에 대한 중앙값 오차 곡선을 보고한다.

실험 결과

연구 질문

• RQ1 기억 콘텐츠 초기화 방식이 신경 터링 머신(NTM)의 수렴 속도와 학습 안정성에 어떤 영향을 미치는가?
• RQ2 왜 많은 오픈소스 NTM 구현이 원본 NTM 논문에서 보고한 성능을 재현하지 못하는가?
• RQ3 원본 결과를 충족하고 향후 연구를 가능하게 하는 안정적이고 고성능의 NTM 구현을 개발하고 공개할 수 있는가?
• RQ4 랜덤 또는 학습된 초기화 방식에 비해 일정한 기억 초기화 방식은 학습 속도와 신뢰성 측면에서 어떻게 비교되는가?
• RQ5 제안된 구현은 원본 NTM 및 Differentiable Neural Computer(DNC)와 같은 다른 MANN 구현과 비교해 유사한 수렴 속도를 달성하는가?

주요 결과

• 기억 콘텐츠의 일정한 초기화는 세 과제 전반에서 평균적으로 다음으로 가장 좋은 초기화 방법(학습된 초기화)보다 2배 빠른 수렴을 보였다.
• 일정한 기억 초기화를 사용한 NTM 구현은 복사 과제에서 근사적으로 0에 가까운 오차로 수렴하며, 최고의 공개 결과 및 공식 DNC 구현과 유사한 단계 수를 기록했다.
• 반복 복사 과제에서 NTM는 LSTMs보다 1.44배 느리게 수렴했지만 DNC보다는 1.06배 더 빠르게 수렴했으며, 두 MANN 모두 LSTMs를 초월하는 성능을 보였다.
• 연관 기억 회상 과제에서 NTM 구현은 원본 NTM 및 DNC와 거의 동일한 속도로 문제를 해결했고, LSTMs는 시간 제한 내에 문제를 해결하지 못했다.
• 구현은 안정적이었으며, 기울기 폭주(Inf 또는 NaN 기울기) 문제가 보고되지 않았고, 더 넓은 연구 용도로 공개 라이선스 하에 오픈소스로 공개되었다.
• 연구는 기억 초기화가 NTM 성공에 있어 이전에 간과되었던 핵심 요소이며, 새로운 구현에서는 일정한 초기화를 기본 선택 사항으로 삼아야 한다고 결론 내렸다.