[논문 리뷰] Learning to update Auto-associative Memory in Recurrent Neural Networks for Improving Sequence Memorization

Wei Zhang, Bowen Zhou|arXiv (Cornell University)|2017. 09. 19.

Topic Modeling참고 문헌 27인용 수 8

한 줄 요약

이 논문은 임베딩된 순환 신경망(RNN) 내에서 학습 가능한 자가연관 메모리 메커니즘을 제안하여, 메모리 업데이트 규칙을 작업 목표와 함께 동시 최적화함으로써 장기 시퀀스 메모리 능력을 향상시킨다. 유용한 빛보다 정보가 많은 빛을 별도의 메모리 셀에 방향을 전달하는 라우터 네트워크를 통해 다수의 자가연관 메모리를 통합함으로써, 모델은 MNIST에서 0.45%의 테스트 오차를 달성하였으며, 이는 단일 메모리 기반 모델 대비 8%의 상대적 향상이다. 이는 복잡한 시퀀스 인코딩을 위한 향상된 용량과 강건성을 보여준다.

ABSTRACT

Learning to remember long sequences remains a challenging task for recurrent neural networks. Register memory and attention mechanisms were both proposed to resolve the issue with either high computational cost to retain memory differentiability, or by discounting the RNN representation learning towards encoding shorter local contexts than encouraging long sequence encoding. Associative memory, which studies the compression of multiple patterns in a fixed size memory, were rarely considered in recent years. Although some recent work tries to introduce associative memory in RNN and mimic the energy decay process in Hopfield nets, it inherits the shortcoming of rule-based memory updates, and the memory capacity is limited. This paper proposes a method to learn the memory update rule jointly with task objective to improve memory capacity for remembering long sequences. Also, we propose an architecture that uses multiple such associative memory for more complex input encoding. We observed some interesting facts when compared to other RNN architectures on some well-studied sequence learning tasks.

연구 동기 및 목표

• 표준 아키텍처가 은닉 상태 압축과 흐려지는 기울기 문제로 인해 장기 시퀀스 메모리에 어려움을 겪는 RNN에서 장기 시퀀스 메모리 문제를 해결하기 위해.
• 고정된 업데이트 규칙과 제한된 용량을 가진 규칙 기반 메모리 업데이트의 한계를 극복하기 위해.
• 작업 목표와 함께 엔드 투 엔드로 메모리 업데이트 규칙을 학습시켜 RNN의 장기 컨텍스트 작업 성능을 향상시키기 위해.
• 입력 패턴의 비선형적이고 유형에 특화된 처리를 가능하게 하기 위해, 라우팅 메커니즘을 갖춘 다수의 자가연관 메모리를 사용해 복잡한 패턴을 인코딩하는 방법을 탐색하기 위해.
• 학습 가능한 메모리 업데이트 규칙과 다중 메모리 아키텍처가 시퀀스 학습 작업에서 표준 RNN 및 어텐션 기반 모델을 능가할 수 있는지 평가하기 위해.

제안 방법

• 규칙 기반 에너지 최소화 대신 기울기 기반 최적화를 사용하는, 자가연관 메모리의 미분 가능하고 학습 가능한 업데이트 규칙을 제안한다.
• 유용한 빛인지 여부를 분류하고 별도의 메모리 셀로 라우팅하기 위해 히وري스틱(예: 검은색 이외의 픽셀 수 >10)을 사용하는 라우터 네트워크를 도입한다.
• 각 메모리 셀이 서로 다른 가우시안 분포로 초기화된 별도의 가중치 행렬을 사용하는 이중 메모리 아키텍처를 구현하여 콘텐츠의 구분 능력을 향상시킨다.
• RNN 은닉 상태를 조건으로 삼아 동적 시각적 빛을 생성하는 빛 네트워크를 사용하며, 이는 이후 메모리 및 라우터 구성 요소에서 처리된다.
• 수정된 메모리 업데이트 식을 적용한다: $ g(A_t, \mathbf{w} \odot \mathbf{h}_t + \mathbf{V} \mathbf{g}_t) $, 여기서 $ \mathbf{g}_t $는 빛 벡터이고 $ \mathbf{V} $는 학습 가능한 투영 행렬이다.
• 백프로파게이션을 사용하여 RNN, 메모리 업데이트, 라우팅 구성 요소를 함께 최적화하는 방식으로 전체 모델을 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 규칙 기반 업데이트 메커니즘에 비해 학습 가능한 메모리 업데이트 규칙이 RNN 내 자가연관 메모리에서 장기 시퀀스 메모리 능력을 향상시키는가?
• RQ2 라우팅 메커니즘을 갖춘 다수의 자가연관 메모리 셀을 사용하면, 복잡하고 이질적인 입력 패턴을 더 잘 인코딩할 수 있는가?
• RQ3 간단한 히وري스틱을 사용해 라우터 네트워크가 정보가 많은 빛과 그렇지 않은 빛을 효과적으로 분리하여 시퀀스 작업의 분류 정확도를 향상시킬 수 있는가?
• RQ4 제안된 모델(WeiNet)의 성능이 장기 컨텍스트 시퀀스 학습 작업에서 표준 RNN, Fast Weights, 어텐션 기반 모델과 비교해 어떻게 되는가?
• RQ5 성능 향상에 가장 적합한 메모리 셀 수는 얼마이며, 두 개를 초과해 용량을 늘일 경우 훈련 불안정성 또는 수익 감소가 발생하는가?

주요 결과

• 단일 자가연관 메모리를 갖는 WeiNet은 MNIST 숫자 분류 작업에서 0.45%의 테스트 오차율을 기록하였으며, 이는 단일 메모리 기반 모델 대비 8%의 상대적 오차 감소를 의미한다.
• 히وري스틱 기반 라우터를 사용하는 두 개의 메모리 셀을 도입함으로써 단일 메모리 모델 대비 성능 향상을 달성하였으며, 이는 유형에 특화된 메모리 처리가 표현 학습 능력을 향상시킨다는 것을 시사한다.
• 메모리 셀 수를 두 개를 초과해 늘여도 테스트 정확도가 향상되지 않았으며, 이는 추가 용량이 훈련 불안정성과 수익 감소를 유도한다는 것을 시사한다.
• 동적 어텐션과 다수의 메모리를 갖춘 모델이 고정 어텐션 기반 모델보다 성능이 뛰어나, 적응형 빛 선택이 정보 유지 능력을 향상시킨다는 것을 확인했다.
• 정보가 많은 빛을 분류하기 위해 비블랙 픽셀 수 임계값(p=10)을 사용한 라우터의 효과가 노이즈 필터링과 분류 강건성 향상에 기여하였다.
• 학습 가능한 메모리 업데이트 규칙이 규칙 기반 자가연관 메모리보다 더 나은 장기 시퀀스 인코딩 능력을 제공함을 시퀀스 학습 벤치마크 성능을 통해 입증하였다.