[논문 리뷰] Associative Long Short-Term Memory

Ivo Danihelka, Greg Wayne외 3명|arXiv (Cornell University)|2016. 02. 09.

Advanced Memory and Neural Computing참고 문헌 18인용 수 108

한 줄 요약

논문은 중복 홀로그램 메모리를 사용하여 핵-값 쌍을 네트워크 매개변수를 증가시키지 않고 저장하는 기억-증강 RNN인 Associative LSTM을 도입합니다. 이를 통해 기억 속도와 용량을 향상시키고, HRR 기반 바인딩을 LSTM 게이트 및 다중 읽기/쓰기 복사본과 통합하여 검색 노이즈를 줄입니다.

ABSTRACT

We investigate a new method to augment recurrent neural networks with extra memory without increasing the number of network parameters. The system has an associative memory based on complex-valued vectors and is closely related to Holographic Reduced Representations and Long Short-Term Memory networks. Holographic Reduced Representations have limited capacity: as they store more information, each retrieval becomes noisier due to interference. Our system in contrast creates redundant copies of stored information, which enables retrieval with reduced noise. Experiments demonstrate faster learning on multiple memorization tasks.

연구 동기 및 목표

• 매개변수를 늘리지 않고 LSTM에 메모리 메커니즘을 강화하는 동기를 제시한다.
• 홀로그램 축소 표현을 사용한 연관 메모리(key–value memory)를 개발한다.
• 검색 노이즈를 줄이기 위해 다중 메모리 복제본을 통한 중복성을 도입한다.
• 연관 메모리를 LSTM 게이트와 통합해 하나의 통합 아키텍처를 형성한다.
• 메모리 학습 속도를 높이고 기억력 및 시퀀스 작업에서 경쟁력 있는 성능을 입증한다.

제안 방법

• 바인딩을 통한 복잡수 연산으로 키-값 쌍을 홀로그램 축소 표현으로 표현한다.
• 독립적인 치환을 가진 각 키-값 쌍의 다중 변환 복사본을 저장하여 중복 메모리 흔적을 만든다.
• 복사본 간 평균화를 통해 검색하고, 연관/언바인드에 켤레와 같은 연산을 사용한다.
• 연관 메모리를 LSTM에 통합하여 복소수 키를 생성하고 LSTM 게이팅(망각, 입력, 출력)을 반영하는 복소수 구성요소 업데이트 규칙을 도입한다.
• 복사본의 병렬 업데이트를 허용하고 다중 키(메모리 헤드)를 통한 읽기를 가능하게 한다.
• 기저선(LSTM, Permutation RNN, Unitary RNN, Multiplicative Unitary RNN)과 비교하고 다양한 작업에서 학습 속도와 정확도를 평가한다.

실험 결과

연구 질문

• RQ1 연관된, 메모리 증강 LSTM이 매개변수 수를 늘리지 않고도 더 높은 용량으로 키-값 쌍을 저장하고 검색할 수 있는가?
• RQ2 다중 복사본을 통한 중복 저장이 검색 노이즈를 감소시키고 기억력/시퀀스 작업에서 학습 속도를 향상시키는가?
• RQ3 연관 메모리가 LSTM 게이트와 어떻게 통합되어 시퀀스 모델링 능력을 보존하면서 기억 주소 지정이 가능하게 하는가?
• RQ4 Associative LSTM이 표준 LSTM 및 다른 메모리 증강 모델과 canonical 작업(에피소딕 카피, XML 모델링, 변수 할당, 산술, 위키피디아)에서 어떻게 비교되는가?

주요 결과

• 중복 연관 메모리는 네트워크 매개변수를 늘리지 않고도 더 큰 유효 메모리 용량을 가능하게 한다.
• 다수의 복사본을 사용한 임의의 치환으로 저장된 항목 수가 늘어날수록 검색 노이즈가 감소하며 복사본이 항목과 함께 확장될 때 대략적으로 검색 오차를 관리한다.
• Associative LSTM은 에피소딕 카피 및 XML 모델링 작업에서 LSTM보다 더 빠른 학습을 달성하고, 다른 작업에서도 복수의 복사본이 늘어날수록 경쟁력 있는 결과를 보인다.
• 에피소딕 카피 작업에서 다중 복사본을 활용한 연관 메모리는 속도를 향상시키며, 단일 복사본의 연관 LSTM은 더 크거나 강한 LSTM에 비해 항상 우수하지는 않다.
• XML 모델링 작업에서 더 많은 복사본을 사용하면 Associative LSTM이 큰 이점을 보이며, 여러 설정에서 LSTM을 능가하거나 일치한다.
• 변수 할당 및 산술 작업에서 다중 읽기/쓰기 헤드(복사본)가 Associative LSTM이 작업을 더 효율적으로 해결하는 데 도움을 주며, 작업 상세는 복사본 수와 아키텍처에 따라 다르다.
• 위키피디아 언어 모델링에서 Associative LSTM은 LSTM과 비슷하게 수행하며, 시퀀스 모델링에 대해 최소한 LSTM만큼 일반화된다.