[논문 리뷰] Machine Learning's Dropout Training is Distributionally Robust Optimal

José Blanchet, Yang Kang외 3명|arXiv (Cornell University)|2020. 09. 13.

Statistical Methods and Inference참고 문헌 48인용 수 9

한 줄 요약

이 논문은 일반선형모형(GLM)에서 드롭아웃 훈련이 분포로 보존 최적화(DRO)와 동치임을 입증한다. 여기서 드롭아웃 노이즈—확률 δ로 독립변수 항목을 무작위로 삭제하는 것—은 최소유리한 교란을 나타내며, 최소최대 게임에서 자연의 행동이다. 핵심 결과는 드롭아웃 훈련이 곱셈형 독립변수 교란에 대해 이론적으로 샘플 외 성능 보장을 제공함으로써 과적합에 대한 강건성을 공식화한다는 것이다.

ABSTRACT

This paper shows that dropout training in Generalized Linear Models is the minimax solution of a two-player, zero-sum game where an adversarial nature corrupts a statistician's covariates using a multiplicative nonparametric errors-in-variables model. In this game, nature's least favorable distribution is dropout noise, where nature independently deletes entries of the covariate vector with some fixed probability $δ$. This result implies that dropout training indeed provides out-of-sample expected loss guarantees for distributions that arise from multiplicative perturbations of in-sample data. In addition to the decision-theoretic analysis, the paper makes two more contributions. First, there is a concrete recommendation on how to select the tuning parameter $δ$ to guarantee that, as the sample size grows large, the in-sample loss after dropout training exceeds the true population loss with some pre-specified probability. Second, the paper provides a novel, parallelizable, Unbiased Multi-Level Monte Carlo algorithm to speed-up the implementation of dropout training. Our algorithm has a much smaller computational cost compared to the naive implementation of dropout, provided the number of data points is much smaller than the dimension of the covariate vector.

연구 동기 및 목표

• 최소최대 프레임워크 하에서 드롭아웃 훈련이 분포로 보존 최적화(DRO) 절차임을 공식적으로 정당화하는 것.
• 드롭아웃이 독립변수의 적대적 곱셈형 교란에 대해 최적의 방어를 제공하므로 과적합을 완화하는 이유를 설명하는 것.
• 표본 손실 초과 확률을 바탕으로 드롭아웃 비율 δ를 체계적으로 선택하는 방법을 제공하는 것.
• 스케일이 잘 되는 드롭아웃 훈련을 위한 계산적으로 효율적이고 비편향된 다수준 몬테카를로 알고리즘을 개발하는 것.

제안 방법

• 통계학자와 적대자(자연) 사이의 두 명의 플레이어, 영점합 게임으로 드롭아웃을 모델링하며, 자연은 비모수적 오차-변수 모형을 통해 독립변수를 교란한다.
• 이 게임의 최소최대 해가 드롭아웃 훈련과 일치함을 증명하며, 자연의 최소유리한 분포는 확률 δ로 독립적인 베르누이 드롭아웃임을 보인다.
• 최소최대 정리(Morgenstern과 von Neumann, 1953)를 적용하여 최소최대, 최대최소, 내쉬 균형 수익의 등가성을 보인다.
• 표본 손실이 진정한 모집단 손실을 초과할 확률을 분석하여 새로운 조정 규칙 δ를 유도하며, δ ≈ c/√n 이면 사전 지정된 신뢰 수준을 달성함을 보인다.
• 계층적 분산 감소를 활용하여 n ≪ d 인 경우 특히 계산 비용을 줄이기 위해 비편향 다수준 몬테카를로 알고리즘을 제안한다.
• 기본 몬테카를로나 2^d개의 드롭아웃 패턴에 대한 전체 탐색에 비해 계산 복잡도가 크게 감소함을 보였다.

실험 결과

연구 질문

• RQ1 드롭아웃 훈련은 적대적 독립변수 교란 하에서 분포로 보존 최적화 문제와 동치인가?
• RQ2 적대적 게임에서 자연의 최소유리한 분포는 무엇이며, 이는 드롭아웃 노이즈와 일치하는가?
• RQ3 드롭아웃 비율 δ는 어떻게 선택해야 표본 손실이 진정한 모집단 손실을 초과할 확률을 사전 지정된 수준으로 제어할 수 있는가?
• RQ4 기본 몬테카를로보다 더 잘 스케일링되는 계산적으로 효율적이고 비편향된 확률적 최적화 방법을 드롭아웃 훈련에 대해 개발할 수 있는가?

주요 결과

• GLM에서의 드롭아웃 훈련은 자연이 곱셈형 비모수적 노이즈로 독립변수를 교란하는 두 명의 플레이어 간 영점합 게임의 최소최대 해이다.
• 자연의 최소유리한 분포는 확률 δ로 독립적인 베르누이 드롭아웃이며, 이는 드롭아웃이 이러한 교란에 대한 최적의 방어임을 확인한다.
• 표본 내 데이터에 대한 곱셈형 교란이 어떤 경우라도 샘플 외 기대 손실은 드롭아웃 훈련 하의 표본 내 손실보다 크지 않음을 보장한다.
• δ가 고정되어 있을 경우 드롭아웃 훈련의 표본 내 손실은 진정한 모집단 손실을 초과할 확률이 1이지만, 적절한 c에 대해 δ = c/√n로 설정함으로써 이 확률를 제어할 수 있다.
• 제안된 비편향 다수준 몬테카를로 알고리즘은 추정기에서 O(2^{-2K})의 분산 감소율을 달성하여 기본 몬테카를로보다 더 빠른 수렴을 가능하게 한다.
• 수치 결과는 충분한 병렬 반복이 사용될 경우 새로운 알고리즘이 표준 SGD보다 매개변수 수렴에서 뛰어난 성능을 보이며, 특히 고차원 설정(n ≪ d)에서 두각을 나타낸다.