[논문 리뷰] How to Construct Deep Recurrent Neural Networks

Razvan Pascanu, Çaǧlar Gülçehre외 2명|arXiv (Cornell University)|2013. 12. 20.

Music and Audio Processing참고 문헌 41인용 수 245

한 줄 요약

이 논문은 깊이 있는 비선형층을 사용하여 은닉 상태 간 전이 함수와 은닉 상태에서 출력 함수를 각각 깊이 있게 만든 두 가지 새로운 딥 순환 신경망(RNN) 아키텍처—딥 트랜지션 RNN(DT(S)-RNN)과 딥 아웃풋 트랜지션 RNN(DOT(S)-RNN)—를 제안한다. 실험 결과, 이 모델들은 전통적인 얕은 RNN과 스택드 RNN보다 폴리포닉 음악 예측 및 단어 수준의 언어 모델링에서 뛰어난 성능을 보이며, 고급 정규화 기법을 사용하지 않아도 후자의 작업에서 최고 성능을 기록한다.

ABSTRACT

In this paper, we explore different ways to extend a recurrent neural network (RNN) to a extit{deep} RNN. We start by arguing that the concept of depth in an RNN is not as clear as it is in feedforward neural networks. By carefully analyzing and understanding the architecture of an RNN, however, we find three points of an RNN which may be made deeper; (1) input-to-hidden function, (2) hidden-to-hidden transition and (3) hidden-to-output function. Based on this observation, we propose two novel architectures of a deep RNN which are orthogonal to an earlier attempt of stacking multiple recurrent layers to build a deep RNN (Schmidhuber, 1992; El Hihi and Bengio, 1996). We provide an alternative interpretation of these deep RNNs using a novel framework based on neural operators. The proposed deep RNNs are empirically evaluated on the tasks of polyphonic music prediction and language modeling. The experimental result supports our claim that the proposed deep RNNs benefit from the depth and outperform the conventional, shallow RNNs.

연구 동기 및 목표

• 순환 신경망(RNN)에서 깊이의 모호성에 대응하기 위해 피드포워드 네트워크와는 대조적으로 명확한 깊이 계층이 존재하지 않는 문제를 해결하기 위해.
• 기본 RNN에서 얕은 구성요소—특히 은닉 상태 간 전이 함수와 은닉 상태에서 출력 함수—를 식별하고 이를 깊이 있게 개선하기 위해.
• 표현 능력을 향상시키면서도 학습 가능성을 유지하는 새로운 딥 RNN 아키텍처를 설계하기 위해.
• 제안된 모델을 시퀀스 모델링 작업에 대해 실증적으로 평가하고 기존 RNN 및 스택드 RNN과 비교하기 위해.
• 언어 모델링 및 폴리포닉 음악 예측과 같은 작업에서 더 깊은 아키텍처 설계가 성능 향상에 기여하는지 조사하기 위해.

제안 방법

• 은닉 상태 간 전이 함수를 깊이 있는 피드포워드 네트워크로 대체하여 계층적인 상태 변환을 가능하게 하는 DT(S)-RNN을 제안한다.
• 출력 함수를 깊이 있는 피드포워드 네트워크로 대체하여 은닉 상태에서 출력 생성을 더 깊이 있게 모델링할 수 있도록 하는 DOT(S)-RNN을 도입한다.
• 증가하는 깊이와 관련된 기울기 소실 문제를 완화하기 위해 두 아키텍처 모두에 스케일업 연결(잔차 연결)을 적용한다.
• 시간에 따라 비선형 연산자들의 조합으로 본 제안된 딥 RNN을 해석하기 위한 신규 프레임워크를 기반으로 한 신경 연산자 기반 접근법을 사용한다.
• 학습을 위해 표준 백프로파게이션 스루 타임(BPTT)을 적용하며, 최적화 안정성을 확보하기 위해 기존 RNN 또는 DT(S)-RNN을 사용한 사전학습을 실시한다.
• 스티어티식 그래디언트 디센트와 같은 표준 최적화 방법을 사용하며, 실험은 문자 수준 및 폴리포닉 음악 데이터셋을 기반으로 Theano에서 수행된다.

실험 결과

연구 질문

• RQ1 시간 전개 구조에 기반한 내재적 깊이가 있는 RNN에서, 반복 층을 스택하는 것 외에 더 의미 있는 깊이 정의가 가능할 수 있는가?
• RQ2 얕은 대안과 비교해 더 깊은 은닉 상태 간 전이 함수 또는 더 깊은 출력 함수는 시퀀스 모델링 성능을 향상시키는가?
• RQ3 스케일업 연결이 은닉 상태 간 전이 또는 출력 함수의 깊이 증가 시 학습 곤란 문제를 효과적으로 완화하는가?
• RQ4 언어 모델링 및 음악 예측 작업에서 제안된 딥 RNN은 기존 RNN 및 스택드 RNN과 비교해 성능 면에서 어떻게 다른가?
• RQ5 텍스트 및 음악과 같은 다양한 종류의 순차적 데이터에 대해 깊이의 성능 향상 효과가 견고한가?

주요 결과

• DOT(S)-RNN은 고급 정규화 기법을 사용하지 않아도 단어 수준의 언어 모델링에서 최고 성능을 기록하며, 기존 RNN 및 스택드 RNN을 모두 능가했다.
• 폴리포닉 음악 예측 작업에서는 각 데이터셋에 대해 다른 딥 RNN 변형이 최고 성능을 기록하여 모델 특화 적합성이 높음을 시사했다.
• 모든 평가 사례에서 기존 얕은 RNN은 더 깊은 아키텍처에 의해 능가되었으며, 이는 RNN에서 아키텍처의 깊이가 유의미한 이점을 제공한다는 것을 확인했다.
• 제안된 딥 RNN은 전이 함수와 출력 함수를 깊이 있게 만들음으로써, 반복 층을 스택하는 것 외에도 깊이를 의미적으로 확장할 수 있음을 보여주었다.
• DOT(S)-RNN에서 비 포화 활성화 함수와 드롭아웃을 사용한 실험에서 폴리포닉 음악 예측 성능이 크게 향상되어, 현대 피드포워드 기법과의 호환성이 있음을 시사했다.
• 딥 RNN의 학습은 특히 DOT(S)-RNN과 스택드 RNN에서 어려웠으며, 이는 더 나은 최적화 전략과 사전학습 기법의 필요성을 강조했다.