[논문 리뷰] Scaling Memory-Augmented Neural Networks with Sparse Reads and Writes

Jack W. Rae, Jonathan J. Hunt외 6명|arXiv (Cornell University)|2016. 10. 27.

Topic Modeling참고 문헌 19인용 수 58

한 줄 요약

이 논문은 메모리 연산당 최적의 O(1) 공간 및 시간 복잡도를 달성하기 위해 희소 읽기 및 쓰기 기반으로 작동하는 미분 가능 메모리 증강 신경망인 희소 액세스 메모리(SAM)를 소개한다. SAM은 100,000단계 작업에 대해 밀도 있는 모델 대비 1,000배 빠른 학습과 3,000배 적은 메모리 사용을 기록하며, 합성 및 실제 응용 과제(예: 옴니글랏 일회 학습)에서 데이터 효율성과 성능을 유지한다.

ABSTRACT

Neural networks augmented with external memory have the ability to learn algorithmic solutions to complex tasks. These models appear promising for applications such as language modeling and machine translation. However, they scale poorly in both space and time as the amount of memory grows --- limiting their applicability to real-world domains. Here, we present an end-to-end differentiable memory access scheme, which we call Sparse Access Memory (SAM), that retains the representational power of the original approaches whilst training efficiently with very large memories. We show that SAM achieves asymptotic lower bounds in space and time complexity, and find that an implementation runs $1,\!000 imes$ faster and with $3,\!000 imes$ less physical memory than non-sparse models. SAM learns with comparable data efficiency to existing models on a range of synthetic tasks and one-shot Omniglot character recognition, and can scale to tasks requiring $100,\!000$s of time steps and memories. As well, we show how our approach can be adapted for models that maintain temporal associations between memories, as with the recently introduced Differentiable Neural Computer.

연구 동기 및 목표

• 메모리 크기가 증가함에 따라 공간 및 시간 복잡도에서의 낮은 확장성 문제를 해결하기 위해 메모리 증강 신경망(MANNs)의 확장성 문제를 해결한다.
• 신경 터닝 머신(NTM) 및 메모리 네트워크와 같은 모델에서 부드러운 읽기/쓰기 연산의 선형 계산 오버헤드를 극복한다.
• 매우 큰 외부 메모리를 갖는 MANN의 효율적인 학습을 가능하게 하여 실세계 응용에 적합하게 한다.
• 메모리 및 시간 비용을 극적으로 줄이면서도 종단 간 미분 가능성과 데이터 효율성을 유지한다.
• 100,000단계의 긴 시퀀스와 64,000개의 메모리 슬롯과 같은 장기 시퀀스 및 대규모 메모리 용량으로의 확장성을 입증한다.

제안 방법

• 각 타임스텝에서 메모리 수정을 작은 동적 메모리 위치 부분집합으로 제한하는 희소 액세스 메커니즘을 제안한다.
• 읽기 연산에서 콘텐츠 기반 주소 설정을 가속화하기 위해 k-d 트리와 국소성에 민감한 해싱(LSH)과 같은 효율적인 데이터 구조를 사용한다.
• 전파 시 전체 메모리 복제를 피하기 위해 오직 소수의 메모리 슬롯만 업데이트하는 미분 가능한 희소 쓰기 연산을 구현한다.
• 백프로파게이션을 통한 시간 기반 백프로파게이션(BPTT)을 통해 종단 간 학습이 가능한, 희소 액세스 기반의 컨트롤러(예: LSTM)에 통합한다.
• 오미글랏 일회 분류와 같은 작업을 더 긴 시퀀스 길이로 확장하기 위해 커리큘럼 학습을 적용한다.
• 다양화된 신경 컴퓨터(DNC)에 이 접근법을 적용하여 효율성과 성능 향상을 달성한 희소 DNC(SDNC)를 개발한다.

실험 결과

연구 질문

• RQ1 메모리 증강 신경망이 매우 큰 메모리 크기로 확장되더라도 데이터 효율성과 성능를 유지할 수 있는가?
• RQ2 희소 메모리 액세스 연산이 미분 가능한 프레임워크 내에서 각 연산당 최적의 O(1) 시간 및 공간 복잡도를 달성할 수 있는가?
• RQ3 k-d 트리 및 LSH와 같은 효율적인 데이터 구조의 사용이 메모리 크기에 비례하는 선형 복잡도 이하의 순전파 시간을 감소시키는가?
• RQ4 희소 액세스가 장기 시퀀스(예: 100,000단계)에서 최소한의 메모리 및 시간 오버헤드로 학습을 가능하게 하는가?
• RQ5 희소 액세스 기반 기법이 다른 미분 가능한 메모리 아키텍처(예: DNC)로 일반화 가능한가?

주요 결과

• SAM은 64,000개의 메모리 슬롯으로 확장할 경우 밀도 있는 모델 대비 최대 3,000배 메모리 사용을 줄이고, 최대 1,000배 빠른 학습 시간을 기록한다.
• SAM은 각 메모리 연산당 점근적으로 O(1) 시간 및 공간 복잡도를 달성하여 계산 복잡도 측면에서 최적임을 입증한다.
• 옴니글랏 일회 분류 과제에서 SAM은 100개의 문자로 0.2개 이하의 오차를 기록하며, 밀도 있는 모델(약 0.4개 오차)을 능가하는 일반화 성능을 보였다.
• 커리큘럼 학습을 통해 더 긴 시퀀스에서 학습하더라도 기존 MANN들과 비교해 유사한 데이터 효율성을 유지한다.
• 희소 DNC(SDNC) 버전은 2,000개의 메모리 슬롯에서 밀도 있는 DNC 대비 400배 이상 빠르며, 감독된 메모리 액세스 없이도 Babi 과제에서 보고된 바 가장 뛰어난 성능을 기록했다.
• 모델은 130단계 정도의 시퀀스에서만 학습된 후에도 최대 5,000단계의 시퀀스로 일반화가 잘 되었으며, 이는 일반화 가능한 표현을 효과적으로 학습했다는 것을 시사한다.