[논문 리뷰] The Implicit and Explicit Regularization Effects of Dropout

Colin Wei, Sham M. Kakade외 1명|arXiv (Cornell University)|2020. 02. 28.

Stochastic Gradient Optimization Techniques참고 문헌 68인용 수 27

한 줄 요약

이 논문은 드롭아웃의 정규화를 명시적 및 암묵적 효과로 분리한다: 명시적 정규화는 기대 손실을 수정함으로써 발생하며, 암묵적 정규화는 드롭아웃 노이즈로 인한 확률적 경사하강 갱신에서 기인한다. 저자들은 모델과 손실 함수의 도함수를 기반으로 분석적이고 해석 가능한 정규화 항을 유도하였으며, 이는 다양한 언어 모델링 벤치마크에서 LSTM 및 트랜스포머 모델에서 드롭아웃의 성능을 정확히 재현한다.

ABSTRACT

Dropout is a widely-used regularization technique, often required to obtain state-of-the-art for a number of architectures. This work demonstrates that dropout introduces two distinct but entangled regularization effects: an explicit effect (also studied in prior work) which occurs since dropout modifies the expected training objective, and, perhaps surprisingly, an additional implicit effect from the stochasticity in the dropout training update. This implicit regularization effect is analogous to the effect of stochasticity in small mini-batch stochastic gradient descent. We disentangle these two effects through controlled experiments. We then derive analytic simplifications which characterize each effect in terms of the derivatives of the model and the loss, for deep neural networks. We demonstrate these simplified, analytic regularizers accurately capture the important aspects of dropout, showing they faithfully replace dropout in practice.

연구 동기 및 목표

• 딥 네ural 네트워크에서 드롭아웃의 명시적 및 암묵적 정규화 효과를 식별하고 분리하는 것.
• 모델 및 손실 함수의 도함수를 사용하여 두 효과의 이론적 특성화를 제공하는 것.
• 실제로 드롭아웃의 성능을 충실하게 재현할 수 있는 간소화되고 해석 가능한 정규화 항을 개발하는 것.
• 이 분석적 정규화 항이 최신 언어 모델에서 드롭아웃을 대체하되 성능 저하 없이 실험적으로 검증하는 것.
• 특히 어휘 집합이 큰 환경(예: 언어 모델링)에서 드롭아웃이 효과적으로 작용하는 이유에 대한 새로운 통찰을 제공하는 것.

제안 방법

• 드롭아웃 하에 기대 손실과 표준 손실 간의 차이로 명시적 정규화 항을 정의하여, 드롭아웃이 학습 목표를 어떻게 수정하는지 기록한다.
• 암묵적 정규화 효과를 드롭아웃 노이즈로 인한 확률적 경사하강 갱신에서 기인하는 것으로 식별하며, 이는 소규모 배치 SGD와 유사하다.
• 손실 및 모델 출력의 이阶 도함수를 사용하여 암묵적 정규화 항의 분석적 근사치를 유도한다.
• 랜덤 부호를 사용한 확률적 근사치를 활용해 명시적 및 암묵적 효과를 통합한 복합 정규화 항을 제안한다.
• 표준 NLP 벤치마크를 사용하여 LSTM 및 트랜스포머 아키텍처의 학습 파이프라인에 정규화 항을 구현한다.
• 통제된 실험을 통해 각 정규화 효과를 독립적으로 고립하고 검증한다.

실험 결과

연구 질문

• RQ1 드롭아웃 학습에서 명시적 및 암묵적 정규화 효과가 각각 어떤 기여를 하는가?
• RQ2 드롭아웃의 암묵적 정규화 효과는 모델 및 손실 도함수의 관점에서 어떻게 분석적으로 특성화할 수 있는가?
• RQ3 드롭아웃을 완전히 대체할 수 있는 간소화되고 해석 가능한 정규화 항을 도출할 수 있는가?
• RQ4 암묵적 정규화 효과는 데이터셋 크기 또는 모델 아키텍처에 따라 달라지는가?
• RQ5 왜 드롭아웃은 어휘 집합이 큰 환경(예: 언어 모델링)에서 특히 효과적인가?

주요 결과

• 논문은 드롭아웃이 명시적 및 암묵적 정규화 효과를 모두 유도함을 보여주며, 후자는 학습 중 확률적 경사하강 노이즈에서 기인한다.
• 유도된 명시적 정규화 항은 손실 및 모델의 일阶 및 이阶 도함수에 의존하며, 특히 낮은 확률(0 또는 1에 가까운)이 아닌 중간 정도의 신뢰도를 가진 예측에 가장 강하게 정규화 효과를 미친다.
• 암묵적 정규화 항은 랜덤 부호 벡터를 사용하여 분석적으로 근사되며, 드롭아웃의 노이즈 유도 일반화 이점을 포괄한다.
• Penn Treebank, Wikitext-2, Wikitext-103에서 복합 정규화 항은 표준 드롭아웃과 동일한 검증 퍼플렉서티를 달성한다(예: Penn Treebank에서 72.99 vs. 73.76).
• 대규모 WikiText-103 데이터셋에서는 암묵적 정규화 효과가 나타나지 않아, 이 효과가 모델 아키텍처보다 데이터셋 크기에 의존함을 시사한다.
• 절단 실험 결과, 명시적 정규화 항이 중간 확률 예측에 집중하는 것이 드롭아웃의 효과성에 핵심적임을 확인한다.