[논문 리뷰] Revisiting Activation Regularization for Language RNNs

Stephen Merity, Bryan McCann외 1명|arXiv (Cornell University)|2017. 08. 03.

Topic Modeling참고 문헌 20인용 수 42

한 줄 요약

이 논문은 언어 모델링 성능을 햖थ하기 위해 RNN 활성화에 대한 단순한 $L_2$ 정규화(활성화 정규화, AR)와 시간적 일관성 정규화(TAR)를 재검토한다. 최소한의 아키텍처 변경으로도 AR과 TAR는 펜 트리뱅크와 위키문서-2에서 최신 기술 수준의 성능을 달성하며, 변동 드롭아웃이나 고유의 RNN 셀과 같은 복잡한 기법들을 능가한다. 또한 cuDNN LSTM과 같은 최적화된 구현과도 호환된다.

ABSTRACT

Recurrent neural networks (RNNs) serve as a fundamental building block for many sequence tasks across natural language processing. Recent research has focused on recurrent dropout techniques or custom RNN cells in order to improve performance. Both of these can require substantial modifications to the machine learning model or to the underlying RNN configurations. We revisit traditional regularization techniques, specifically L2 regularization on RNN activations and slowness regularization over successive hidden states, to improve the performance of RNNs on the task of language modeling. Both of these techniques require minimal modification to existing RNN architectures and result in performance improvements comparable or superior to more complicated regularization techniques or custom cell architectures. These regularization techniques can be used without any modification on optimized LSTM implementations such as the NVIDIA cuDNN LSTM.

연구 동기 및 목표

• 기존의 경량 정규화 기법인 활성화에 대한 $L_2$와 시간적 일관성 정규화가 RNN 언어 모델링에서 현대적인 복잡한 정규화 방법보다 우월한 성능을 낼 수 있는지 조사하기 위해.
• AR와 TAR가 RNN 셀 아키텍처나 학습 절차를 수정하지 않고 적용될 수 있는지 평가하여, cuDNN과 같은 최적화된 라이브러리와의 호환성을 확보하기 위해.
• AR와 TAR가 LSTM, GRU, $ anh$ RNN와 같은 다양한 RNN 아키텍처에 걸쳐 일반성과 강건성을 보여주기 위해.
• AR와 TAR가 펜 트리뱅크나 위키문서-2와 같은 표준 벤치마크에서, 다른 셀 유형에서 튜닝된 초모수를 사용하여도 성능을 크게 향상시킬 수 있는지 보여주기 위해.

제안 방법

• 활성화 정규화(AR)는 드롭아웃 마스크 $m$를 적용한 RNN 출력 $m \odot h_t$에 $L_2$ 펆티를 적용하여 작은 안정적인 활성화를 유도한다.
• 시간 활성화 정규화(TAR)는 연속된 은닉 상태 간의 차이 $\|h_t - h_{t+1}\|_2$에 $L_2$ 페널티를 적용하여 시간적 부드러움을 촉진한다.
• 정규화 계수 $\alpha$와 $\beta$는 검증 세트 성능을 기반으로 튜닝되며, 분석을 위해 다양한 RNN 셀 유형 간에 값 전이가 이루어진다.
• 실험은 연결된 임베딩과 표준 학습 프로토콜을 사용한 표준 언어 모델링 벤치마크(PTB, WT2)를 사용하며, AR/TAR가 적용된 모델과 적용되지 않은 모델을 비교한다.
• 일반성과 강건성을 테스트하기 위해 표준 LSTM과 다른 RNN들(GRU, $ anh$ RNN)에 모두 적용한다.
• cuDNN LSTM과 같은 최적화된 RNN 라이브러리와의 호환성이 유지되며, AR과 TAR는 RNN 셀이나 학습 루프에 대한 변경 없이 적용 가능하다.

실험 결과

연구 질문

• RQ1 간단한 RNN 활성화에 대한 $L_2$ 정규화(AR)와 시간 일관성 정규화(TAR)가 변동 드롭아웃이나 고유의 RNN 셀과 같은 복잡한 정규화 기법보다 성능이 유사하거나 뛰어나게 할 수 있는가?
• RQ2 AR와 TAR는 cuDNN LSTM과 같은 최적화된 RNN 구현에 적용될 때도 효과를 유지하는가? 이는 고유의 셀 수정을 지원하지 않는 경우에도 해당된다.
• RQ3 AR와 TAR는 GRU나 $ anh$ RNN과 같이 전통적으로 언어 모델링에 사용되지 않는 다양한 RNN 아키텍처에 얼마나 일반적으로 적용될 수 있는가?
• RQ4 LSTM과 같은 특정 RNN 셀에 대해 최적화된 초모수 $\alpha$와 $\beta$가 GRU나 $ anh$ RNN 등의 다른 셀에 대해 재사용되어도 효과적으로 작동할 수 있는가? 다시 말해, 재튜닝 없이도 성능 향상이 가능한가?
• RQ5 TAR는 특히 무작위 초기화에서 학습을 진행할 때 RNN에 정체성 유사 행동을 암묵적으로 유도하는가?

주요 결과

• 펜 트리뱅크 데이터셋에서 AR과 TAR는 테스트 퍼플렉서티를 667.5에서 227.8로 감소시켜 기준 LSTM 대비 66%의 상대적 향상을 보였다.
• 위키문서-2에서 동일한 정규화는 테스트 퍼플렉서티를 117.5에서 103.4로 향상시켜 더 도전적인 외부 도메인 벤치마크에서도 일관된 성능 향상을 보였다.
• GRU에 대해 동일한 $\alpha=5$, $\beta=2$ 값을 적용했을 때 퍼플렉서티는 83.3에서 81.1로 감소하여, 다른 RNN 아키텍처에 대한 전이 가능성과 효과성을 입증했다.
• $\tanh$ RNN는 AR과 TAR 없이 학습이 불가능했지만, 정규화를 통해 수렴이 가능해졌으며, 이는 TAR가 암묵적인 정체성 초기화 제약 역할을 한다는 것을 시사한다.
• AR과 TAR의 성능 향상 효과는 다양한 RNN 유형에 걸쳐 강건하게 유지되어, 이 기법들이 LSTM에 국한되지 않고 다른 시퀀스 모델로도 일반화됨을 보여준다.
• AR과 TAR는 아키텍처 변경 없이 cuDNN LSTM과 같은 최적화된 RNN 라이브러리에 적용 가능하여 학습 속도와 호환성을 유지한다.