[논문 리뷰] Using Fast Weights to Attend to the Recent Past

Jimmy Ba, Geoffrey E. Hinton외 3명|arXiv (Cornell University)|2016. 10. 20.

Neural Networks and Applications인용 수 153

한 줄 요약

본 논문은 최근 은닉 상태에 주목하는 빠른 연상 메모리로서의 fast weights를 도입하여 RNN에서 기억과 어텐션을 개선하고, 계층 정규화가 다양한 과제의 안정성과 성능을 향상시킨다.

ABSTRACT

Until recently, research on artificial neural networks was largely restricted to systems with only two types of variable: Neural activities that represent the current or recent input and weights that learn to capture regularities among inputs, outputs and payoffs. There is no good reason for this restriction. Synapses have dynamics at many different time-scales and this suggests that artificial neural networks might benefit from variables that change slower than activities but much faster than the standard weights. These "fast weights" can be used to store temporary memories of the recent past and they provide a neurally plausible way of implementing the type of attention to the past that has recently proved very helpful in sequence-to-sequence models. By using fast weights we can avoid the need to store copies of neural activity patterns.

연구 동기 및 목표

• 전체 활성화 패턴을 저장하지 않으면서 최근 히스토리를 저장하기 위해 느린 시냅스 가중치보다 더 빠른 기억 메커니즘의 필요성을 동기 부여한다.
• 외적 곱 업데이트를 사용하여 시간이 지남에 따라 감쇠하는 빠른 연상 메모리를 제안하고, 이를 통해 최근 히든 상태를 저장한다.
• fast weights가 연상 검색, MNIST 시각 주의, 표정 인식, 기억 기반 강화 학습에 대한 성능 향상을 가능하게 한다는 점을 입증한다.
• 빠른 가중치 다이나믹의 안정화 및 학습 향상에 계층 정규화가 기여한다는 점을 보여준다.
• 다양한 과제에서 fast weights를 표준 RNN 및 LSTM과 비교하여 이점과 한계를 확립한다.

제안 방법

• A(t)가 λ로 감쇠하고 현재 은닉 상태 h(t)의 외적 h(t) h(t)^T에 의해 업데이트되는 빠른 가중치 행렬 A(t)를 정의한다: A(t) = λ A(t-1) + η h(t) h(t)^T.
• 다음 은닉 상태 h(t+1)을 두 단계 프로세스로 계산한다: 먼저 예비적으로 h0(t+1) = f(W h(t) + C x(t))를 구하고, 그 다음 S번의 단계에서 A(t) h_s(t+1)을 도입하여 h를 반복적으로 정제하는 내부 루프를 수행한다.
• 다음으로 다이나믹스를 안정화하기 위해 내부 루프에 계층 정규화를 포함한다: h_{s+1}(t+1) = f(LN[ W h(t) + C x(t) + A(t) h_s(t+1) ]).
• SGD로 학습된 느린 가중치 W와 C를 사용하고, A에 대해 η와 감쇠 λ를 갖는 빠른 학습 규칙을 사용한다; Adam을 사용한 미니배치로 학습한다.
• fast weights를 IRNN, 표준 LSTM, 그리고 associative LSTM과 비교하여 associative retrieval, glimpses가 포함된 MNIST, 표정 인식, 기억 기반 강화 학습과 같은 과제에서의 성능 차이를 평가한다.

실험 결과

연구 질문

• RQ1 빠른 시냅스 유사 메모리가 전통적인 은닉 상태 메모리보다 최근 정보를 더 효율적으로 저장할 수 있는가?
• RQ2 계층 정규화가 순환 신경망에서 fast weight 메모리의 안정성 및 성능을 개선하는가?
• RQ3 fast weights가 연상 검색, 미세한 주의가 있는 시각 주의, 표정 인식, 기억 기반 강화 학습에서 표준 RNN과 LSTM에 비해 실질적인 정확도나 학습 속도 이점을 제공하는가?

주요 결과

• 빠른 가중치는 순환 계층 크기가 작을 때 연상 검색을 대폭 개선하고 LSTM 변형보다 우수한 수렴 속도를 달성한다.
• 다층 시각 주의 구성을 갖춘 MNIST에서 fast weights는 IRNN, LSTM, ConvNet 베이스라인과 비교하여 특히 은닉 단위가 제한된 경우 경쟁력 있는 또는 우수한 정확도를 달성한다.
• 표정 인식에서 fast weights 모델은 종종 IRNN 및 LSTM 기본값을 능가하지만, 일부 설정에서는 ConvNet이 다층 주의 모델을 여전히 능가할 수 있다.
• 기억이 있는 강화 학습(Catch 과제)에서 fast weights를 사용하는 에이전트는 ReLU RNN이나 LSTM을 사용하는 에이전트보다 더 빠르게 학습하며, 메모리가 더 많이 필요한 변형에서 더 큰 이점을 보인다.
• 계층 정규화는 fast weight 다이나믹의 견고성을 향상시켜 다양한 학습 속도 및 decay 매개변수 범위에서 안정적인 학습이 가능하게 한다.