[논문 리뷰] On the Curse of Memory in Recurrent Neural Networks: Approximation and Optimization Analysis

Zhong Li, Jiequn Han외 2명|arXiv (Cornell University)|2020. 09. 16.

Neural Networks and Applications참고 문헌 66인용 수 6

한 줄 요약

이 논문은 선형 시간적 관계를 학습할 때 연속시간 선형 순환 신경망(RNN)의 근사화 및 최적화 동역학을 조사한다. 장기 기억이 목표 기능의 지수적 증가로 인해 근사화에 필요한 뉴런 수가 기하급수적으로 증가하고, 최적화 방법에 관계없이 훈련 속도가 극도로 저하되는 현상인 '기억의 저주'를 도입한다.

ABSTRACT

We study the approximation properties and optimization dynamics of recurrent neural networks (RNNs) when applied to learn input-output relationships in temporal data. We consider the simple but representative setting of using continuous-time linear RNNs to learn from data generated by linear relationships. Mathematically, the latter can be understood as a sequence of linear functionals. We prove a universal approximation theorem of such linear functionals, and characterize the approximation rate and its relation with memory. Moreover, we perform a fine-grained dynamical analysis of training linear RNNs, which further reveal the intricate interactions between memory and learning. A unifying theme uncovered is the non-trivial effect of memory, a notion that can be made precise in our framework, on approximation and optimization: when there is long term memory in the target, it takes a large number of neurons to approximate it. Moreover, the training process will suffer from slow downs. In particular, both of these effects become exponentially more pronounced with memory - a phenomenon we call the "curse of memory". These analyses represent a basic step towards a concrete mathematical understanding of new phenomenon that may arise in learning temporal relationships using recurrent architectures.

연구 동기 및 목표

• 시간적 역학과 데이터 내 기억이 RNN의 근사화 및 최적화에 미치는 영향를 이해하는 것.
• 장기 기억이 선형 함수에 대한 정확한 근사화에 필요한 뉴런 수에 끼치는 영향를 분석하는 것.
• 경사 하강법과 모멘텀을 사용한 연속시간 선형 RNN의 훈련 동역학을 연구하며 수렴 속도에 초점을 맞추는 것.
• 기억의 저주를 차원의 저주와 유사한 새로운 이론적 현상으로 정식화하는 것.
• 연속시간 동역학계와 선형 함수를 사용한 RNN 분석을 위한 엄밀한 수학적 프레임워크를 제공하는 것.

제안 방법

• 분석적 접근성을 확보하기 위해 일반 미분방정식(ODE)을 사용해 RNN을 연속시간 동역학계로 모델링하는 것.
• 기본 입력-출력 관계를 기억을 정량화하는 감쇠률을 가진 선형 함수의 순서로 표현하는 것.
• 연속시간에서의 훈련 동역학을 분석하기 위해 경사 유량과 모멘텀 기반 최적화를 적용하는 것.
• 목표 함수의 정규성과 기억(감쇠률)에 기반한 근사 속도를 유도하는 것.
• ODE 해를 사용해 손실 변화를 특성화하고, 특히 정체기(plateaus)를 포함한 여러 시간스케일을 식별하는 것.
• 경사 하강법과 모멘텀 방법을 비교하여, 모멘트가 정체기에서의 탈출 시간을 단축시켜 수렴 속도를 향상시킨다는 것을 보여주는 것.

실험 결과

연구 질문

• RQ1 목표 선형 함수의 기억 길이(감쇠률)가 선형 RNN이 근사화하기 위해 필요한 뉴런 수에 어떤 영향을 미치는가?
• RQ2 연속시간 선형 RNN의 근사 속도는 무엇이며, 이는 함수의 정규성과 기억에 어떻게 의존하는가?
• RQ3 장기 기억을 가진 목표에 대해 선형 RNN을 훈련할 때 경사 하강법과 모멘텀 기반 최적화는 어떻게 행동하는가?
• RQ4 장기 의존성에 대해 RNN 훈련이 느리게 수렴하는 원인는 무엇이며, 이를 정량화할 수 있는가?
• RQ5 기억이 유사하게 차원의 저주와 비교할 수 있는 '저주'를 얼마나 유도하는가?

주요 결과

• 근사 오차는 뉴런 수에 반비례하는 비율로 감소하지만, 이 비율은 목표 함수의 기억(감쇠률)이 증가할수록 기하급수적으로 악화된다.
• 기억 매개변수 ε를 가진 목표 함수에 대해, ε-근사화를 위한 뉴런 수는 1/ε에 따라 기하급수적으로 증가한다.
• 경사 하강법 훈련은 여러 시간스케일을 보이며, 손실이 거의 일정하게 유지되는 기간이 O(1/ε)에 이르게 된다.
• 모멘텀 기반 최적화는 정체기에서의 탈출 시간을 O(1/√ε)로 줄여 경사 하강법보다 수렴 속도를 향상시킨다.
• 두 방법 모두 손실 함수가 초기에 느리게 감소하다가 급격히 감소하는 경향을 보이며, 전이 시간은 GD의 경우 O(1/ε), 모멘텀의 경우 O(1/√ε)로 스케일링된다.
• 훈련 동역학은 기억 매개변수 ε에 연결된 느린 모드에 의해 지배되며, 기억이 증가할수록 기하급수적인 지연이 발생한다—이는 '기억의 저주'를 정량화하는 데 기여한다.