[논문 리뷰] Noisin: Unbiased Regularization for Recurrent Neural Networks

Adji Bousso Dieng, Rajesh Ranganath외 2명|arXiv (Cornell University)|2018. 05. 03.

Neural Networks and Applications참고 문헌 40인용 수 14

한 줄 요약

Noisin은 순환 신경망(RNN)에 대한 새로운 비편향 정규화 방법을 제안하며, 은닉 상태에 무작위 노이즈를 주입하고 데이터의 주변 가능도를 최대화한다. 노이즈 주입 전이 함수가 평균적으로 비편향이 되도록 보장함으로써, 일반화를 향상시키는 명시적 정규화를 제공한다. 이는 펜 트리뱅크와 위키백과-2에서 드롭아웃 대비 각각 최대 12.2%와 9.4%의 상대적 향상을 달성한다.

ABSTRACT

Recurrent neural networks (RNNs) are powerful models of sequential data. They have been successfully used in domains such as text and speech. However, RNNs are susceptible to overfitting; regularization is important. In this paper we develop Noisin, a new method for regularizing RNNs. Noisin injects random noise into the hidden states of the RNN and then maximizes the corresponding marginal likelihood of the data. We show how Noisin applies to any RNN and we study many different types of noise. Noisin is unbiased--it preserves the underlying RNN on average. We characterize how Noisin regularizes its RNN both theoretically and empirically. On language modeling benchmarks, Noisin improves over dropout by as much as 12.2% on the Penn Treebank and 9.4% on the Wikitext-2 dataset. We also compared the state-of-the-art language model of Yang et al. 2017, both with and without Noisin. On the Penn Treebank, the method with Noisin more quickly reaches state-of-the-art performance.

연구 동기 및 목표

• 순차적 데이터에서 매우 민첩한 구조이지만 과적합에 취약한 순환 신경망(RNN)의 과적합 문제를 해결하기 위해.
• 기본적인 RNN 아키텍처를 손상시키지 않고 일반화를 향상시키는 정규화 방법을 개발하기 위해.
• 비편향이면서 명확한 정규화 페널티를 유도하는 노이즈 주입 메커니즘을 체계화하기 위해.
• 표준 언어 모델링 벤치마크에서 다양한 RNN 아키텍처와 노이즈 유형에 대해 Noisin의 효과를 입증하기 위해.

제안 방법

• 학습 중 RNN의 은닉 상태에 무작위 노이즈를 주입하여 결정론적 전이 함수를 확률적 함수로 변환한다.
• 노이즈 주입 RNN 하에서 관측된 데이터의 주변 가능도를 최대화함으로써, 전이 함수의 국소 이웃 평균을 효과적으로 평균화한다.
• 강한 비편향 조건을 도입하여, 노이즈 주입 전이 함수의 기대값이 원래 결정론적 함수와 일치하도록 보장한다.
• 노이즈 분산의 함수로서 정규화 항을 유도하며, 이는 변화에 민감한 구성 요소를 페널티 부여하고 강건성을 증진시킨다.
• 모든 RNN 변종(LSTM, GRU 등)에 적용 가능하며, 가우시안 및 베르누이와 같은 다양한 노이즈 분포를 지원한다.
• 로그 정규화자의 이차 테일러 전개를 사용하여 정규화 항을 로그 정규화자의 헤시안과 노이즈 주입 은닉 상태의 공분산으로 표현한다.

실험 결과

연구 질문

• RQ1 RNN 은닉 상태에 노이즈 주입이 일반화를 향상시키는 원리적이고 효과적인 정규화 방법이 될 수 있는가?
• RQ2 비편향 조건이 정규화된 RNN의 이론적 성질과 실증적 성능에 어떤 영향을 미치는가?
• RQ3 노이즈 주입이 유도하는 암묵적 정규화 페널티의 형태는 무엇이며, 모델의 강건성과 어떤 관련이 있는가?
• RQ4 언어 모델링 작업에서 드롭아웃 및 웨이트 디케이와 같은 기존 정규화 기법과 비교해 Noisin의 성능은 어떠한가?
• RQ5 Noisin은 언어 모델링에서 최고 성능에 도달하는 데 수렴 속도를 가속화하는가?

주요 결과

• 펜 트리뱅크에서 Noisin은 표준 LSTM 대비 최대 37.3% 상대적 향상과 드롭아웃-LSTM 대비 최대 12.2% 상대적 향상을 달성한다.
• 위키백과-2 데이터셋에서 Noisin은 표준 LSTM 대비 최대 39.0% 상대적 향상과 드롭아웃-LSTM 대비 최대 9.4% 상대적 향상을 달성한다.
• Noisin을 적용한 방법은 양 등(2017)의 베이스라인 모델보다 펜 트리뱅크에서 최고 성능에 더 빨리 도달한다.
• 이론적 분석 결과 Noisin의 정규화 항은 음이 아닌 값을 가지며, 노이즈의 분산과 로그 정규화자의 헤시안에 기반한 페널티로 해석된다.
• 실증 결과는 Noisin이 손실 표면을 매끄럽게 하고 과적합을 방지함을 확인하며, 훈련 및 검증 퍼플렉서티 모두 일관된 향상을 보였다.
• 비편향 조건은 노이즈 주입 RNN의 기대 행동이 원래 결정론적 RNN과 일치하도록 보장하여, 모델의 무결성을 유지하면서 강건성을 향상시킨다.