[논문 리뷰] Learning Long Term Dependencies via Fourier Recurrent Units

Jiong Zhang, Yibo Lin외 2명|arXiv (Cornell University)|2018. 03. 17.

Neural Networks and Applications참고 문헌 7인용 수 27

한 줄 요약

이 논문은 푸리에 기저 함수를 사용하여 시간에 따라 은닉 상태를 요약하는 새로운 RNN 아키텍처인 푸리에 순환 유닛(FRU)을 소개한다. 이는 안정적인 기울기와 강력한 장기 의존성 학습을 가능하게 하며, MNIST 및 IMDB와 같은 시계열 작업에서 LSTM 및 SRU보다 훨씬 적은 파라미터로 최신 기술 성능을 달성한다. 특히 순열된 MNIST에서 최대 9.47% 향상되고 IMDB에서 3.07% 향상되며, 더 빠르고 부드러운 훈련을 유지한다.

ABSTRACT

It is a known fact that training recurrent neural networks for tasks that have long term dependencies is challenging. One of the main reasons is the vanishing or exploding gradient problem, which prevents gradient information from propagating to early layers. In this paper we propose a simple recurrent architecture, the Fourier Recurrent Unit (FRU), that stabilizes the gradients that arise in its training while giving us stronger expressive power. Specifically, FRU summarizes the hidden states $h^{(t)}$ along the temporal dimension with Fourier basis functions. This allows gradients to easily reach any layer due to FRU's residual learning structure and the global support of trigonometric functions. We show that FRU has gradient lower and upper bounds independent of temporal dimension. We also show the strong expressivity of sparse Fourier basis, from which FRU obtains its strong expressive power. Our experimental study also demonstrates that with fewer parameters the proposed architecture outperforms other recurrent architectures on many tasks.

연구 동기 및 목표

• 장기 의존성을 학습하는 데 장애가 되는 순환 신경망(RNN)에서의 기울기 소실 및 폭발 문제를 해결하기 위해.
• 기존 모델인 SRU 및 LSTM보다 더 강력한 표현 능력을 지닌 순환 아키텍처를 개발하여, 특히 장수열에 대해 유리한 성능을 내기 위해.
• 시계열 길이에 관계없이 기울기 범위가 일정하도록 보장함으로써, 시간에 따른 역전파(backpropagation through time)의 안정성을 확보하기 위해.
• 희소 푸리에 기저 표현이 계산 효율성을 유지하면서도 강력한 표현 능력을 제공함을 보여주기 위해.
• 기본 시계열 데이터셋에서 LSTM 및 SRU보다 훨씬 적은 파라미터로 뛰어난 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• FRU는 푸리에 기저 함수의 선형 조합을 사용하여 시간에 걸친 은닉 상태를 요약함으로써, 전역적이고 장거리적 맥락 모델링이 가능하다.
• 모델은 잔차 학습 구조를 채택하여 기울기가 모든 레이어를 거쳐도 열화 없이 흐르도록 한다.
• 각 주파수 성분(k)은 학습 가능한 주파수 성분으로서 과거 은닉 상태를 표현하며, 각 주파수 성분은 서로 다른 시간 척도를 포착한다.
• 모델은 각 시간 단계에서 푸리에 계수를 사용해 과거 은닉 상태의 통계적 요약을 계산하며, 이를 학습 가능한 변환을 통해 업데이트한다.
• 삼각 함수의 사용으로 전역적 지지를 확보하여, SRU와 같은 지수 감쇠 방법과 달리 시계열 기록의 어느 지점이라도 접근할 수 있다.
• 이론적 분석 결과, 선형 케이스에서 FRU는 시계열 길이 T에 관계없이 일정한 기울기 하한 및 상한을 유지함을 확인했다.

실험 결과

연구 질문

• RQ1 푸리에 기저 함수를 사용하는 순환 아키텍처가 장수열에서 기울기 소실/폭발 문제를 완화하고 기울기 안정성을 확보할 수 있는가?
• RQ2 희소 푸리에 기저 함수의 사용이 SRU에서 사용하는 지수 이동 평균보다 더 강력한 표현 능력을 제공하는가?
• RQ3 FRU가 LSTM 및 SRU보다 훨씬 적은 파라미터로 시계열 모델링 작업에서 뛰어난 성능을 내는가?
• RQ4 잔차 구조와 푸리에 표현이 결합된 경우 훈련 안정성과 수렴 속도에 어떤 영향을 미치는가?
• RQ5 FRU가 합성 및 실세계 시계열 데이터에서 얼마나 강력한 장기 의존성 포착 능력을 지녔는가?

주요 결과

• 순열된 MNIST 데이터셋에서 FRU는 테스트 정확도 96.93%를 달성하여, SRU(92.21%), LSTM(90.26%), RNN(87.46%)를 최대 9.47% 향상시켰다.
• IMDB 영화 리뷰 데이터셋에서 5개 주파수를 사용한 FRU는 86.71%의 정확도를 기록했으며, SRU(86.40%)와 LSTM(83.64%)를 뛰어넘었고, 파라미터 수는 12K에 불과했다. 이는 SRU의 19분의 1, LSTM의 10분의 1에 불과했다.
• 영구 주파수만을 사용한 극단적 경우(FRU₁,₁₀)는 단지 4K 파라미터로 86.44%의 정확도를 달성했으며, RNN보다 8배 적은 파라미터를 사용했고, 더 빠른 수렴 속도를 보였다.
• 모든 데이터셋에서 모든 기준 모델보다 부드러운 훈련 곡선과 더 빠른 수렴 속도를 보여, 최적화 안정성 향상을 시사했다.
• 이론적 분석을 통해 FRU는 시계열 길이 T에 관계없이 일정한 기울기 노름 범위(하한 및 상한)를 유지함을 확인했으며, RNN 및 SRU는 T에 따라 지수적으로 증가함을 확인했다.
• 합성 데이터 실험 결과, FRU는 혼합 사인파 및 다항식 시계열을 정확하게 모델링할 수 있었으며, 강력한 표현 능력을 입증했다.