[논문 리뷰] Regularizing RNNs by Stabilizing Activations

David Krueger, Roland Memisevic|arXiv (Cornell University)|2015. 11. 26.

Speech Recognition and Synthesis참고 문헌 12인용 수 30

한 줄 요약

이 논문은 RNN의 연속된 은닉 상태 노름 간 제곱 차이를 페널티로 주는 새로운 정규화 기법인 노름-안정화기(norm-stabilizer)를 소개한다. 이는 학습 안정성과 일반화 성능을 향상시키며, 문자 수준의 언어 모델링 및 발음음소 인식에서 뛰어난 성능을 보이며, 비빔 검색 없이도 TIMIT에서 18.6% PER을 기록해 최신 기술 수준에 도달했다. 또한 활성화 폭주를 방지함으로써 IRNN이 훨씬 긴 시퀀스로 일반화할 수 있도록 한다.

ABSTRACT

We stabilize the activations of Recurrent Neural Networks (RNNs) by penalizing the squared distance between successive hidden states' norms. This penalty term is an effective regularizer for RNNs including LSTMs and IRNNs, improving performance on character-level language modeling and phoneme recognition, and outperforming weight noise and dropout. We achieve competitive performance (18.6\% PER) on the TIMIT phoneme recognition task for RNNs evaluated without beam search or an RNN transducer. With this penalty term, IRNN can achieve similar performance to LSTM on language modeling, although adding the penalty term to the LSTM results in superior performance. Our penalty term also prevents the exponential growth of IRNN's activations outside of their training horizon, allowing them to generalize to much longer sequences.

연구 동기 및 목표

• 학습 시퀀스 길이를 초월해 더 긴 시퀀스로 일반화할 때 발생하는 RNN의 활성화 폭주 또는 소실 문제를 해결하기 위함.
• 특히 IRNN과 LSTMs에서 시간이 지남에 따라 안정적인 은닉 상태 노름을 유지하도록 유도하여 RNN의 일반화성과 안정성을 향상시키기 위함.
• 기울기의 방향이나 원소 기반 클리핑이 아닌 활성화 노름 안정성에 직접적으로 초점을 맞춘 정규화 기법을 개발하기 위함.
• 노름 안정성이 다양한 시퀀스 모델링 작업 전반에서 성능 향상에 기여하는 강력한 인도적 편향(inductive bias)이 될 수 있는지 탐구하기 위함.

제안 방법

• 은닉 상태의 L2 노름 변화를 페널티로 주는 새로운 정규화 기법인 노름-안정화기를 제안하며, 수식은 $\beta \frac{1}{T} \sum_{t=1}^{T} (\|h_t\|_2 - \|h_{t-1}\|_2)^2$ 로 정의된다.
• 노름-안정화기를 IRNN과 LSTMs 모두에 적용하며, 메모리 셀 또는 은닉 상태에 정규화를 적용할지에 대한 별도의 분석 실험을 실시한다.
• 학습률 스케줄링과 기울기 클리핑을 적용한 확률적 경사 하강법을 사용하며, NaN 값이 발생하면 학습을 재시작한다.
• 최적의 성능를 얻기 위해 $\beta$, 학습률, 기울기 클리핑 등의 하이퍼파라미터에 대해 격자 탐색을 실시한다.
• 정규화가 활성화 분포, 잊기 게이트 행동, 은닉 전이 행렬의 고유값 스펙트럼에 미치는 영향을 분석한다.
• 초기/최종 노름 또는 시간적 일관성에 기반한 정규화 기법들과 비교하기 위해, 웨이트 노이즈, 드롭아웃, 노름 기반 페널티 등의 대안 정규화 기법을 검토한다.

실험 결과

연구 질문

• RQ1 은닉 상태의 노름을 정규화함으로써, 특히 학습 시퀀스 길이를 초월한 경우에도 RNN의 일반화 성능 향상이 가능할까?
• RQ2 기존 정규화 기법들인 드롭아웃, 웨이트 노이즈, 기울기 클리핑과 비교해 노름 안정화가 RNN에서 더 우수한 성능을 내는가?
• RQ3 왜 노름-안정화기는 IRNN과 LSTMs에서는 성능 향상을 보이나, tanh-RNN에서는 그렇지 않은가?
• RQ4 노름 안정화가 은닉 전이 행렬의 고유값 스펙트럼과 잊기 게이트 분포에 어떤 영향을 미치는가?
• RQ5 노름 안정화된 IRNN은 정규화되지 않은 IRNN보다 훨씬 긴 시퀀스로 일반화할 수 있는가?

주요 결과

• 노름-안정화기는 LSTMs와 IRNNs 양쪽에서 은닉 상태 노름의 평균과 분산을 크게 감소시키며, $\beta = 500$일 때 가장 효과적인 정규화가 이루어진다.
• 노름-안정화가 적용된 IRNN은 10,000단계까지 안정적인 성능과 활성화 노름을 유지하는 반면, 정규화되지 않은 IRNN은 학습 기간 내내 기하급수적으로 증가하는 활성화를 보인다.
• TIMIT 발음음소 인식 작업에서 노름-안정화된 RNN은 비빔 검색 없이도 18.6%의 단어 오류율을 기록하며, 최신 기술 수준의 성능을 달성했다.
• 노름-안정화는 IRNN과 LSTMs의 검증 성능를 향상시키지만, tanh-RNN에서는 그렇지 않으며, 이는 활성화 불안정성에 취약한 모델에서 가장 효과적임을 시사한다.
• 정규화된 IRNN은 고유값 분포가 더 큰 절댓값 쪽으로 이동함을 보이며, 정규화되지 않은 경우보다 비직교적 동역학을 선호함을 나타낸다.
• 노름-안정화는 은닉 유닛 간 활성화 분포를 더 집중시키고, LSTMs의 잊기 게이트 분포를 더 뾰족하게 만들며, 선택적이고 안정적인 정보 유지가 이루어짐을 시사한다.