[논문 리뷰] On the Inductive Bias of Dropout

David P. Helmbold, Philip M. Long|arXiv (Cornell University)|2014. 12. 15.

Stochastic Gradient Optimization Techniques참고 문헌 16인용 수 18

한 줄 요약

이 논문은 선형 분류에서 드롭아웃을 정규화 방법으로서 이론적으로 분석하며, 희소하고 고크기의 가중치를 선호하는 비볼록(inductive) 편향을 유도함을 보여준다. L2 정규화와는 달리, 드롭아웃의 펜alties는 비단조화적이며 비볼록적이며, 이는 드문 특징에 대한 강한 선호와 특징 간 상호적응 제약을 유도한다.

ABSTRACT

Dropout is a simple but effective technique for learning in neural networks and other settings. A sound theoretical understanding of dropout is needed to determine when dropout should be applied and how to use it most effectively. In this paper we continue the exploration of dropout as a regularizer pioneered by Wager, et.al. We focus on linear classification where a convex proxy to the misclassification loss (i.e. the logistic loss used in logistic regression) is minimized. We show: (a) when the dropout-regularized criterion has a unique minimizer, (b) when the dropout-regularization penalty goes to infinity with the weights, and when it remains bounded, (c) that the dropout regularization can be non-monotonic as individual weights increase from 0, and (d) that the dropout regularization penalty may not be convex. This last point is particularly surprising because the combination of dropout regularization with any convex loss proxy is always a convex function. In order to contrast dropout regularization with $L_2$ regularization, we formalize the notion of when different sources are more compatible with different regularizers. We then exhibit distributions that are provably more compatible with dropout regularization than $L_2$ regularization, and vice versa. These sources provide additional insight into how the inductive biases of dropout and $L_2$ regularization differ. We provide some similar results for $L_1$ regularization.

연구 동기 및 목표

• 드롭아웃의 선형 분류에서의 인덕티브 편향을 이해하고, 특히 학습 과정에서 모델 선호도에 어떻게 영향을 미치는지 파악하는 것.
• 다양한 데이터 분포와의 호환성을 고려해 드롭아웃 정규화를 L2 및 L1 정규화와 공식적으로 비교하는 것.
• 가중치가 증가함에 따라 드롭아웃 정규화 펜alty가 볼록성, 단조성, 유계성 여부를 분석하는 것.
• 드롭아웃이 특정 데이터 분포에서 L2 정규화보다 우월할 수 있는 이론적 근거를 제공하는 것.

제안 방법

• 각 특징이 확률 q로 0으로 설정되고, 나머지 경우는 1/(1-q)로 스케일링되는 입력 특징의 확률적 페르터베이션으로 드롭아웃을 수식화한다.
• 편향된 입력 분포 하에서의 기대 로지스틱 손실로 드롭아웃 기준을 유도하며, 이를 표준 손실과 정규화 항 reg_D,q(w)로 분해한다.
• reg_D,q(w)의 성질을 분석하며, 볼록성, 단조성, 그리고 개별 가중치가 0에서 증가함에 따른 행동을 고려한다.
• 드롭아웃 정규화가 L2 정규화보다 우월한 경우와 그 반대의 경우를 증명할 수 있는 특정 데이터 분포를 구성한다.
• 고차원 설정에서 정규화 펜alty의 행동을 분석하기 위해 농도 부등식과 Berry-Esseen 한계를 활용한다.
• 표본 효과를 추상화하여 알고리즘의 인덕티브 편향에 집중하기 위해 편향-분산 분해 프레임워크를 활용한다.

실험 결과

연구 질문

• RQ1 드롭아웃 정규화가 L2 및 L1 정규화와 비교해 인덕티브 편향 측면에서 어떻게 다를까?
• RQ2 가중치가 증가함에 따라 드롭아웃 정규화 펜alty가 볼록성, 단조성, 또는 유계성 여부는 어떠한가?
• RQ3 어떤 데이터 분포에서 드롭아웃 정규화가 L2 정규화보다 증명 가능하게 더 호환되는가?
• RQ4 드롭아웃 확률이 정규화의 강도와 성격에 어떻게 영향을 미치는가?
• RQ5 왜 드롭아웃은 L2 정규화보다 드문 특징을 더 선호하고 가중치의 상호적응을 더 효과적으로 제약하는가?

주요 결과

• 전반적인 목적 함수는 볼록이지만, 드롭아웃 정규화 펜alty reg_D,q(w)는 비볼록이며, 이는 비볼록 인덕티브 편향을 드러낸다.
• 개별 가중치가 0에서 증가함에 따라 정규화 펜alty가 비단조화적일 수 있으며, 이는 가중치를 증가시킬수록 펜alty가 일시적으로 감소할 수 있음을 의미한다.
• 일부 조건 하에서는 가중치가 증가함에 따라 펜alty가 무한대가 될 수 있지만, 데이터 분포에 따라 유계로 유지될 수도 있다.
• 드롭아웃 정규화보다 L2 정규화보다 더 호환되는 데이터 분포가 존재하며, 그 반대의 경우도 존재함을 입증함으로써, 서로 다른 인덕티브 편향을 입증한다.
• 드롭아웃은 L1 정규화보다 한 특징에 매우 큰 가중치를 할당하는 모델을 더 강하게 선호한다.
• 이론적 분석을 통해 드롭아웃의 인덕티브 편향이 고차원 설정에서 드문 특징이 있는 경우 희소하고 고크기의 가중치를 선호함을 보여준다.