[논문 리뷰] Dropout with Expectation-linear Regularization

Xuezhe Ma, Yingkai Gao외 4명|arXiv (Cornell University)|2016. 09. 26.

Adversarial Robustness in Machine Learning참고 문헌 26인용 수 13

한 줄 요약

이 논문은 드롭아웃 훈련 중 추론 갭을 명시적으로 제어하기 위해 기대값 선형 정규화를 제안한다. 여기서 모델의 테스트 시 행동이 훈련 시 앙상블 근사와 다름을 보인다. 훈련 중과 추론 중 기대 출력 간의 차이를 정규화함으로써, 계산 오버헤드 없이 일반화 성능을 향상시킨다. 다양한 아키텍처에서 MNIST, CIFAR-10, CIFAR-100에서 일관된 정확도 향상을 달성한다.

ABSTRACT

Dropout, a simple and effective way to train deep neural networks, has led to a number of impressive empirical successes and spawned many recent theoretical investigations. However, the gap between dropout's training and inference phases, introduced due to tractability considerations, has largely remained under-appreciated. In this work, we first formulate dropout as a tractable approximation of some latent variable model, leading to a clean view of parameter sharing and enabling further theoretical analysis. Then, we introduce (approximate) expectation-linear dropout neural networks, whose inference gap we are able to formally characterize. Algorithmically, we show that our proposed measure of the inference gap can be used to regularize the standard dropout training objective, resulting in an \emph{explicit} control of the gap. Our method is as simple and efficient as standard dropout. We further prove the upper bounds on the loss in accuracy due to expectation-linearization, describe classes of input distributions that expectation-linearize easily. Experiments on three image classification benchmark datasets demonstrate that reducing the inference gap can indeed improve the performance consistently.

연구 동기 및 목표

• 표준 드롭아웃에서 테스트 시의 추론이 훈련 시 앙상블 평균과 다름을 보이는 추론 갭을 공식적으로 기술하는 것.
• 이 갭을 훈련 중에 정량화하고 제어할 수 있는 이론적으로 타당하고 실용적인 방법을 개발하는 것.
• 훈련과 추론 행동 간의 이질성(차이)을 명시적으로 최소화하는 정규화 기법을 제안하는 것.
• 추론 갭을 줄임으로써 모델의 일반화 성능 향상이 가능하며, 훈련 효율성에 손상이 가지 않는다는 것을 보여주는 것.
• 이론적 분석을 통해 가중치 제약(예: max-norm)과 추론 갭 감소 간의 연결 고리를 확립하는 것.

제안 방법

• 잠재 변수 모델의 실용적 근사로 드롭아웃을 재구성함으로써, 파라미터 공유에 대한 더 명확한 분석이 가능하도록 한다.
• 훈련 중과 추론 중 기대 출력 간의 이탈을 측정하기 위해 기대값 선형화 개념을 도입한다.
• 표준 드롭아웃 손실에 추론 갭의 표본 추정치를 추가한 정규화된 훈련 목표함수를 제안한다.
• 최적화를 위해 훈련 중 기대값 선형화 위험을 몬테카를로 샘플링으로 근사한다.
• 하이퍼파rameter λ를 사용하여 추론 갭 감소와 모델 정확도 사이의 트레이드오���을 조정한다.
• 이론적 분석을 통해 가중치에 max-norm 제약을 가하면 추론 갭이 감소함을 확인하였으며, 이는 max-norm의 경험적 성공에 대한 이론적 근거를 제공한다.

실험 결과

연구 질문

• RQ1 드롭아웃에서 테스트 시 행동이 훈련 시 앙상블 평균과 다름을 보이는 추론 갭을 공식적으로 정량화할 수 있는가?
• RQ2 max-norm 같은 가중치 제약과 추론 갭의 크기 사이에는 어떤 관계가 있는가?
• RQ3 실제로 추론 갭을 명시적으로 정규화하면 일반화 성능 향상이 이루어지는가?
• RQ4 다양한 정규화 강도에서 추론 갭 감소와 모델 정확도 사이의 트레이드오프는 어떻게 행동하는가?
• RQ5 제안된 방법이 몬테카를로 드롭아웃, 드롭아웃 디스틸레이션과 같은 기존 드롭아웃 변종보다 우월하거나 동등한가?

주요 결과

• MNIST에서 제안된 방법은 2층 ReLU 네트워크(8192개 유닛)에서 표준 드롭아웃의 1.07%에서 기대값 선형화 적용 시 0.90%로 테스트 오차를 감소시켰다.
• CIFAR-10에서 AllConv를 사용할 경우, 방법은 10.86%의 오차를 기록하여 드롭아웃 디스틸레이션의 10.81%와 유사했으며, 표준 드롭아웃(11.18%)보다 우수했다.
• CIFAR-100에서 AllConv를 사용할 경우, 방법은 35.10%의 오차를 기록하여 표준 드롭아웃(35.50%)을 초월했고, 드롭아웃 디스틸레이션(35.07%)과 동등했다.
• 실험적 기대값 선형화 위험(Δ̂)은 λ 증가함에 따라 감소하여, 더 높은 정규화가 추론 갭 감소를 이끌다는 것을 확인했다.
• 최적의 λ 값은 갭 감소와 정확도 사이의 균형을 맞추며, 다양한 데이터셋에서 λ=1.0에서 2.0 사이에서 성능이 최고조에 이르렀다.
• 이론적 분석을 통해 max-norm 제약이 추론 갭을 감소시킴을 확인하였으며, 이는 딥러닝에서 max-norm의 광범위한 사용에 대한 이론적 근거를 제공한다.