[논문 리뷰] Recurrent Batch Normalization

Tim Cooijmans, Nicolas Ballas외 3명|arXiv (Cornell University)|2016. 03. 30.

Topic Modeling참고 문헌 26인용 수 58

한 줄 요약

이 논문은 내부 공변량 이동을 줄이기 위해 은닉 상태 간 전이에 배치 정규화를 적용하는 재구성된 LSTM인 순환 배치 정규화(RBN)를 제안한다. 실험 결과, 언어 모델링 및 질의 응답과 같은 다양한 시퀀스 모델링 작업에서 표준 LSTMs와 이전의 RNN 정규화 방법보다 더 빠른 수렴과 향상된 일반화 성능을 보였다.

ABSTRACT

We propose a reparameterization of LSTM that brings the benefits of batch normalization to recurrent neural networks. Whereas previous works only apply batch normalization to the input-to-hidden transformation of RNNs, we demonstrate that it is both possible and beneficial to batch-normalize the hidden-to-hidden transition, thereby reducing internal covariate shift between time steps. We evaluate our proposal on various sequential problems such as sequence classification, language modeling and question answering. Our empirical results show that our batch-normalized LSTM consistently leads to faster convergence and improved generalization.

연구 동기 및 목표

• 입력-은닉 계층을 넘어서 은닉-은닉 전이까지 배치 정규화를 적용함으로써 순환 신경망에서 내부 공변량 이동을 해결하고자 한다.
• 과거에 RNN에 배치 정규화를 적용한 시도가 폭발하는 기울기와 부적절한 초기화로 인해 실패한 이유를 해결하고자 한다.
• 은닉 상태 전이에 배치 정규화를 적용함으로써 순차 학습 작업에서 최적화 및 일반화 성능 향상을 입증하고자 한다.
• 다양한 작업, 즉 시퀀스 분류, 언어 모델링, 질의 응답에 대해 변수 길이 시퀀스와 어텐션 메커니즘을 포함하여 방법의 유효성을 검증하고자 한다.
• 이중성 및 어텐션 증강 RNN에 배치 정규화를 적용할 수 있는 견고한 프레임워크를 제공하고자 한다.

제안 방법

• 은닉-은닉 전이에 배치 정규화 레이어를 도입하여 LSTM을 재구성함으로써 각 시간 단계에서 배치 기반으로 은닉 상태를 표준화한다.
• 은닉 상태와 입력의 조합된 변환에 배치 정규화를 적용하여 활성화 함수 이전에 선형 변환의 출력을 정규화한다.
• 정규화 후 표현 능력을 유지하기 위해 배치 정규화 레이어에 학습 가능한 애핀 매개변수(스케일 및 시프트)를 사용한다.
• 변수 길이 시퀀스에서의 제로 패딩에 의한 편향을 방지하기 위해 입력에 대해 시퀀스별 정규화를 적용하며, 입력 항목에 대해서만 시간에 걸쳐 통계를 공유한다.
• 주의 메커니즘을 포함한 주의 기반 독자 모델에 배치 정규화를 적용하여 tanh 비선형성 이전의 항목을 정규화한다.
• 기울기 소실을 방지하고 안정적인 학습을 보장하기 위해 배치 정규화 매개변수를 신중하게 초기화한다.

실험 결과

연구 질문

• RQ1 배치 정규화가 LSTMs의 은닉-은닉 전이에 효과적으로 적용될 수 있는가? 내부 공변량 이동을 줄일 수 있는가?
• RQ2 이전에 RNN에 배치 정규화를 적용한 시도가 실패한 이유는 무엇이며, 적절한 초기화로 이러한 문제를 해결할 수 있는가?
• RQ3 순환 배치 정규화가 시퀀스 모델링 작업에서 학습 속도 향상과 일반화 성능 향상에 기여하는가?
• RQ4 어느 정도 복잡한 아키텍처, 즉 어텐션 메커니즘과 이중성 RNN을 포함한 경우에도 배치 정규화를 성공적으로 확장할 수 있는가?
• RQ5 변수 길이 시퀀스와 제로 패딩 존재 조건에서 배치 정규화가 최적화 과정에 어떤 영향을 미치는가?

주요 결과

• 순환 배치 정규화(BN-LSTM)는 시퀀스 분류 및 언어 모델링 작업에서 표준 LSTMs보다 훨씬 더 빠른 수렴 속도를 보였다.
• CNN 질문-응답 작업에서 BN-e** (이중성 BN-e*)은 테스트 오차율 36.3%를 기록하여 베이스라인 LSTM(45.0%)과 원본 주의 기반 독자(37.0%)를 모두 앞섰다.
• BN-everywhere 버전은 어휘 어텐션 항목을 정규화하여 검증 오차율 49.5%를 기록하였으며, 이는 베이스라인 LSTM에 비해 일반화 성능 향상을 보여주었다.
• BN-e* 및 BN-e** 버전은 각각 47.1% 및 43.9%의 최저 최소값을 기록하여 향상된 최적화를 통해 일반화 성능 향상을 입증하였다.
• 적절한 초기화가 필수적임을 발견하였으며, 잘못된 초기화로 인해 기울기 소실이 발생하고 학습이 실패하는 경우가 있었고, 이는 이전의 가정과 반대되는 결과였다.
• 시퀀스별 정규화를 적용하고 역전파 시 패딩 구조를 유지함으로써 이 방법은 변수 길이 시퀀스와 이중성 RNN을 성공적으로 처리하였다.