[논문 리뷰] A Gentle Tutorial of Recurrent Neural Network with Error Backpropagation

Gang Chen|arXiv (Cornell University)|2016. 10. 08.

Neural Networks and Applications참고 문헌 3인용 수 96

한 줄 요약

이 논문은 반복 신경망(RNN)을 백프로파게이션스루타임(BPTT)을 사용해 훈련시키는 데 대한 상세하고 이해하기 쉬운 가이드를 제공하며, RNN 내 오차 백프로파게이션과 장기 단기 기억(LSTM) 유닛에 중점을 둔다. 공유 파라미터의 기울기를 시간 단계 간에 유도하고, 시간에 따라 펼쳐서 계산하는 방법을 설명함으로써, 음성 및 필기 인식과 같은 작업에서 시퀀스 모델링을 위한 명확한 기초를 제공한다.

ABSTRACT

We describe recurrent neural networks (RNNs), which have attracted great attention on sequential tasks, such as handwriting recognition, speech recognition and image to text. However, compared to general feedforward neural networks, RNNs have feedback loops, which makes it a little hard to understand the backpropagation step. Thus, we focus on basics, especially the error backpropagation to compute gradients with respect to model parameters. Further, we go into detail on how error backpropagation algorithm is applied on long short-term memory (LSTM) by unfolding the memory unit.

연구 동기 및 목표

• 피드백 루프로 인해 종종 오해받는 반복 신경망의 백프로파게이션 과정을 명확히 하기 위해.
• 공유된 가중치가 시간 단계 간에 존재하는 RNN 파라미터의 오차 기울기를 단계별로 유도하기 위해.
• 메모리 셀을 펼쳐서 기울기를 유도함으로써, 장기 단기 기억(LSTM) 네트워크로 분석을 확장하기 위해.
• 연구자들과 실무자들이 확률적 경사 하강법과 같은 표준 최적화 방법을 사용해 RNN 훈련을 구현하고 이해할 수 있도록 하기 위해.

제안 방법

• 시간 단계에 따라 RNN을 펼쳐서 백프로파게이션스루타임(BPTT)을 사용해 기울기를 계산한다.
• 소프트맥스 교차 엔트로피 목적 함수를 사용해 출력층 가중치 $W_{hz}$와 편향 $b_z$에 대한 손실의 기울기를 유도한다.
• 체인 규칙을 적용해 시간에 따라 거꾸로 전파되는 오차를 통해 순환 가중치 $W_{hh}$의 기울기를 계산한다.
• 메모리 셀을 시간에 따라 펼쳐서 입력 게이트, 무시 게이트, 출력 게이트, 후보 게이트 등 모든 게이트의 기울기를 계산한다.
• tanh 및 소프트맥스 활성화 함수의 기울기를 유도하며, 이는 오차 전파에 필수적이다.
• 체인 규칙을 사용해 오차를 은닉 상태를 통해 거꾸로 전파하고, 시간 단계 간의 누적을 통해 모든 파라미터의 기울기를 업데이트한다.

실험 결과

연구 질문

• RQ1 반복 피드백 루프가 존재하는 RNN에서 오차 백프로파게이션을 체계적으로 적용하는 방법은 무엇인가?
• RQ2 변동 길이의 시퀀스에서 RNN의 공유 가중치에 대한 기울기를 올바르게 계산하는 방법은 무엇인가?
• RQ3 표준 RNN과 비교할 때 LSTM 유닛에 적용할 경우 백프로파게이션 과정은 어떻게 다를까?
• RQ4 RNN과 LSTM 출력층에서 사용되는 tanh 및 소프트맥스 함수의 분석적 기울기는 무엇인가?
• RQ5 체인 규칙과 시간에 따라 펼친 계산을 통해 모든 LSTM 게이트 파라미터의 기울기를 어떻게 도출할 수 있는가?

주요 결과

• 출력 로짓 $\alpha_t$에 대한 손실의 기울기는 $-(y_t - z_t)$이며, 이는 최종 레이어의 백프로파게이션 과정을 단순화한다.
• 공유 가중치 $W_{hz}$의 기울기는 모든 시간 단계에 걸친 기울기를 합산함으로써 계산되며, 이는 파라미터 공유가 잘 일반화되도록 보장한다.
• 순환 가중치 $W_{hh}$의 기울기는 $t+1$에서 $t=0$까지의 부분 도함수의 연쇄를 통해 BPTT 방법을 사용해 계산된다.
• LSTM 셀 상태 $c_t$의 기울기는 체인 규칙을 사용해 후행 시간 단계의 오차를 무시 게이트를 통해 전파함으로써 순환적으로 거꾸로 계산된다.
• 은닉 상태 $h_t$의 기울기는 모든 향후 시간 단계의 기여를 집계함으로써 계산되며, 이는 백프로파게이션을 통한 전체 파라미터 업데이트를 가능하게 한다.
• 논문은 tanh 함수의 분석적 기울기를 $1 - \tanh^2(x)$로 도출하였으며, 이는 RNN과 LSTMs에서 효율적인 오차 전파에 필수적이다.