[논문 리뷰] Metalearned Neural Memory

Tsendsuren Munkhdalai, Alessandro Sordoni외 2명|arXiv (Cornell University)|2019. 07. 23.

Anomaly Detection Techniques and Applications인용 수 23

한 줄 요약

이 논문은 기억을 미분 가능하고 빠르게 적응 가능한 딥 네ural 네트워크 함수로 간주함으로써 순환 신경망을 향상시키는 메타학습된 신경 기억 메커니즘을 제안한다. 메타학습을 통해 메모리 함수를 한 번의 업데이트로 갱신함으로써, 모델은 지도형 질문 응답 및 강화 학습을 포함한 다양한 작업에서 뛰어난 성능을 달성한다.

ABSTRACT

We augment recurrent neural networks with an external memory mechanism that builds upon recent progress in metalearning. We conceptualize this memory as a rapidly adaptable function that we parameterize as a deep neural network. Reading from the neural memory function amounts to pushing an input (the key vector) through the function to produce an output (the value vector). Writing to memory means changing the function; specifically, updating the parameters of the neural network to encode desired information. We leverage training and algorithmic techniques from metalearning to update the neural memory function in one shot. The proposed memory-augmented model achieves strong performance on a variety of learning problems, from supervised question answering to reinforcement learning.

연구 동기 및 목표

• 시퀀스 모델링에서 고정되거나 느리게 학습되는 기억 메커니즘의 한계를 해결하기 위해 새로운 작업에 대해 빠르게 적응할 수 있도록 하는 것.
• 다양한 작업에 걸쳐 일반화 능력과 소수의 예제 학습 능력을 향상시키기 위해, 미분 가능하고 함수 기반의 기억 시스템을 통합하는 것.
• 메타학습 기법을 활용해 기억 함수의 매개변수를 한 번의 업데이트로 효율적으로 갱신함으로써 적응 능력을 향상시키는 것.
• 다양한 학습 작업, 특히 지도형 및 강화 학습을 포함한 다양한 작업에서 기억 보강 모델의 효과성을 입증하는 것.

제안 방법

• 메모리는 키 벡터에서 값 벡터로 매핑하는 딥 네ural 네트워크로 모델링되어, 미분 가능한 읽기 동작을 가능하게 한다.
• 메모리에 쓰는 것은 새로운 정보를 인코딩하기 위해 신경망의 매개변수를 갱신하는 것으로, 기억을 학습 가능한 함수로 간주한다.
• 메타학습 기법을 사용해 기억 함수를 사전 학습함으로써, 새로운 작업에 대해 단일 업데이트 단계로 적응할 수 있도록 한다.
• 외부 기억 함수를 순환 계산에 통합한 기억 보강 RNN 아키텍처를 사용한다.
• 학습 과정은 메모리 함수가 다양한 작업에 대해 일반화되도록 최적화되며, 추론 과정에서 소수의 예제로 적응하도록 한다.

실험 결과

연구 질문

• RQ1 메타학습을 활용해 신경망 기반의 기억 메커니즘을 새로운 작업에 대해 신속하게 적응시킬 수 있는가?
• RQ2 미분 가능하고 함수 기반의 기억은 시퀀스 모델링 작업에서 성능을 어떻게 향상시키는가?
• RQ3 기억 함수의 한 번의 시도로 매개변수를 갱신하는 것은 소수의 예제 학습 환경에서 일반화 능력을 어느 정도 향상시키는가?
• RQ4 메타학습된 기억 메커니즘은 다양한 학습 작업에서 기존의 기억 보강 네트워크를 초월하는가?

주요 결과

• 모델은 메타학습된 기억 메커니즘을 활용해 빠르고 한 번의 시도로 기억을 적응시킴으로써 지도형 질문 응답 작업에서 뛰어난 성능을 달성한다.
• 메타학습된 기억 메커니즘은 강화 학습 환경에서 효과적인 소수의 예제 학습을 가능하게 한다.
• 메타학습된 함수 기반 기억을 갖춘 기억 보강 RNN은 빠른 적응 덕분에 다양한 작업에 대해 잘 일반화된다.
• 기억을 미분 가능하고 학습 가능한 함수로 간주하고, 메타학습을 통해 효율적으로 갱신할 수 있음을 입증한다.