[논문 리뷰] Learning to Remember More with Less Memorization

Hung Lê, Truyen Tran외 1명|arXiv (Cornell University)|2019. 01. 05.

Topic Modeling참고 문헌 31인용 수 13

한 줄 요약

이 논문은 메모리 증강 신경망(MANNs)를 위한 새로운 비정규적 쓰기 전략인 유니폼 라이팅(UW)과 캐시된 유니폼 라이팅(CUW)을 제안한다. 이 전략들은 정보 유지 최적화를 통해 부과적인 계산을 줄이고 메모리 활용 효율을 향상시킨다. 동일한 타임스텝 기여 가정을 완화하고 메모리 사용을 이론적으로 경계함으로써, 제한된 메모리 조건에서 장기적 문맥 학습에서 기존의 DNC나 트랜스포머보다도 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Memory-augmented neural networks consisting of a neural controller and an external memory have shown potentials in long-term sequential learning. Current RAM-like memory models maintain memory accessing every timesteps, thus they do not effectively leverage the short-term memory held in the controller. We hypothesize that this scheme of writing is suboptimal in memory utilization and introduces redundant computation. To validate our hypothesis, we derive a theoretical bound on the amount of information stored in a RAM-like system and formulate an optimization problem that maximizes the bound. The proposed solution dubbed Uniform Writing is proved to be optimal under the assumption of equal timestep contributions. To relax this assumption, we introduce modifications to the original solution, resulting in a solution termed Cached Uniform Writing. This method aims to balance between maximizing memorization and forgetting via overwriting mechanisms. Through an extensive set of experiments, we empirically demonstrate the advantages of our solutions over other recurrent architectures, claiming the state-of-the-arts in various sequential modeling tasks.

연구 동기 및 목표

• 메모리 증강 신경망(MANNs)에서 연속적 쓰기의 비효율성으로 인한 부과적인 계산과 단기 컨트롤러 메모리의 낭비를 해결하기 위해.
• 모든 타임스텝이 동일한 기여를 한다는 가정 하에 RAM 유사 MANN 시스템의 정보 유지에 대한 이론적 경계를 도출하기 위해.
• 이 경계를 최대화하고 계산 오버헤드를 줄이기 위해 최적의 쓰기 전략인 유니폼 라이팅(UW)을 유도하기 위해.
• 동일 타임스텝 가정을 완화하기 위해 국소적 어텐션을 활용해 선택적 쓰기를 허용하는 캐시된 유니폼 라이팅(CUW)을 도입하여 기억과 잊기 사이의 균형을 이루기 위해.
• 합성 및 실제 시퀀스 작업에서 기존 MANNs와 최신 기술 수준의 모델보다 UW와 CUW가 우수한 성능을 내는 것을 경험적으로 검증하기 위해.

제안 방법

• 숨겨진 상태의 기울기 노름을 기반으로 한 이론적 지표를 제안하여 MANNs 내 정보 유지 정도를 측정하며, 이는 각 입력이 최종 상태에 기여하는 정도를 반영한다.
• 동일 타임스텝 기여 가정 하에 최적의 쓰기 전략인 유니폼 라이팅(UW)을 유도하여 부과적인 쓰기 작동을 최소화하고 정보 저장을 최대화한다.
• UW에 국소적 어텐션을 통합하여 선택적 쓰기를 허용하는 캐시된 유니폼 라이팅(CUW)을 도입함으로써 중요한 타임스텝을 더 잘 식별할 수 있도록 한다.
• 기록 게이트 메커니즘을 사용하여 메모리 업데이트를 제어함으로써, 입력의 중요도에 따라 언제 기록할지를 모델이 학습할 수 있도록 한다.
• 신경 컨트롤러에 의해 지배되는 어텐션 기반 읽기 및 쓰기 연산을 사용하며, 비정규적 쓰기 스케줄을 통해 메모리 액세스를 최적화한다.
• DNC와 같은 기존 MANN 아키텍처에 적용하여 아키텍처 변경 없이 UW와 CUW를 통합한다.

실험 결과

연구 질문

• RQ1 모든 타임스텝이 동일한 기여를 한다는 가정 하에 RAM 유사 MANN 시스템에 저장된 정보의 양에 대해 이론적 경계를 도출할 수 있는가?
• RQ2 MANNs에서 연속적 쓰기는 부과적인 계산과 단기 컨트롤러 메모리의 낭비로 인해 최적화되지 않은가?
• RQ3 MANNs에서 계산 비용을 최소화하면서 정보 유지 최대화를 달성할 수 있는 최적의 쓰기 전략을 도출할 수 있는가?
• RQ4 비균일한 시퀀스 작업에 대해 실제적인 성능 향상을 위해 동일 타임스텝 가정을 어떻게 완화할 수 있는가?
• RQ5 제안된 쓰기 전략인 UW와 CUW는 장기적 문맥 시퀀스 모델링 작업에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 캐시된 유니폼 라이팅(CUW)은 문서 분류 작업에서 최신 기술 수준의 성능을 달성하여 IMDb, Yelp, AG’s News 데이터셋에서 DNC와 트랜스포머를 모두 앞섰다.
• AG’s News 데이터셋에서 CUW는 평균 정확도 93.73% ± 0.08을 기록했으며, UW(93.54% ± 0.08)와 트랜스포머(MNIST에서는 98.9%, pMNIST에서는 낮은 성능)를 초월했다.
• 노이즈가 있는 입력을 가진 사인파 회귀 작업에서 CUW는 신호 진폭과 동기화하여 쓰기를 학습했으며, UW와 DNC보다 더 높은 복원 정확도를 달성했다.
• UW는 청소년적 및 노이즈가 있는 사인파 작업 모두에서 표준 DNC보다 뛰어난 성능을 보이며, 균일 기여 가정 하에서 이론적으로 최적임을 입증했다.
• 시각화 결과 CUW가 중요한 타임스텝을 효과적으로 식별하고 읽기와 동기화하여 쓰기를 수행하는 반면, DNC는 메모리 작업 간의 조율을 실패했다.
• 모든 타임스텝에서 메모리 액세스를 피함으로써 계산 시간을 크게 줄였으며, 성능 손실 없이 효율성 향상을 입증했다.