[논문 리뷰] Dropout Training as Adaptive Regularization

Stefan Wager, Sida Wang외 1명|arXiv (Cornell University)|2013. 07. 04.

Machine Learning and Data Classification참고 문헌 23인용 수 273

한 줄 요약

이 논문은 드롭아웃 훈련을 일반선형모형에서의 적응형 정규화로 프레임워크화하여, 특성들을 역대각 피셔 정보행렬의 제곱근 역수로 스케일링한 후 L2 정규화와 일阶 등가임을 보여준다. 이는 아다그레드와의 연결을 수립하고, 비지도 데이터를 활용해 정규화를 개선하는 반지도 학습 방법을 제안하며, IMDB 리뷰 데이터셋에서 최신 기준 성능을 달성한다.

ABSTRACT

Dropout and other feature noising schemes control overfitting by artificially corrupting the training data. For generalized linear models, dropout performs a form of adaptive regularization. Using this viewpoint, we show that the dropout regularizer is first-order equivalent to an L2 regularizer applied after scaling the features by an estimate of the inverse diagonal Fisher information matrix. We also establish a connection to AdaGrad, an online learning algorithm, and find that a close relative of AdaGrad operates by repeatedly solving linear dropout-regularized problems. By casting dropout as regularization, we develop a natural semi-supervised algorithm that uses unlabeled data to create a better adaptive regularizer. We apply this idea to document classification tasks, and show that it consistently boosts the performance of dropout training, improving on state-of-the-art results on the IMDB reviews dataset.

연구 동기 및 목표

• 드롭아웃이 과적합을 제어하는 데 성공하는 이론적 메커니즘을 이해하는 것.
• 드롭아웃을 일반선형모형에서의 적응형 정규화 형태로 수식화하는 것.
• 드롭아웃 훈련과 아다그레드 최적화 알고리즘 사이의 연결 고리를 확립하는 것.
• 비지도 데이터를 활용해 드롭아웃 정규화를 개선하는 반지도 학습 방법을 개발하는 것.
• 제안된 방법이 기준 텍스트 분류 데이터셋에서 기존 최신 기준 성능을 초월한다는 것을 경험적으로 입증하는 것.

제안 방법

• 논문은 드롭아웃 훈련이 추정된 대각 피셔 정보행렬의 제곱근 역수로 특성을 변환한 후 L2 정규화와 일阶 등가임을 유도한다.
• 드롭아웃 정규화가 로지스틱 회귀에서 희귀하지만 유용한 특성들을 선호함을 보여주며, 이는 적응형 정규화와 유사하다.
• 각 반복 단계에서 선형화된 드롭아웃 정규화 문제를 해결하는 데 있어 아다그레드 알고리즘의 밀접한 유사체가 존재함을 밝혀낸다.
• 비지도 데이터를 활용해 정규화 강도를 추정된 페널티 함수를 통해 조정하는 방식으로, 지도 및 비지도 데이터를 조합한 반지도 정규화를 구성한다.
• 최적화를 위해 정규화의 이차 근사 함수를 사용하고, 비지도 데이터의 할인 인자를 교차검증을 통해 튜닝한다.
• 이 방법은 완전히 판별적이며, 생성 모델을 피팅할 필요가 없다.

실험 결과

연구 질문

• RQ1 드롭아웃 훈련은 일반선형모형에서 정규화와 어떻게 관련이 있는가?
• RQ2 드롭아웃은 적응형 L2 정규화의 한 형태로 해석될 수 있으며, 만약 그렇다면 적응형 스케일링은 어떻게 결정되는가?
• RQ3 드롭아웃 훈련과 아다그레드 최적화 알고리즘 사이의 연결 고리는 무엇인가?
• RQ4 비지도 데이터를 사용해 드롭아웃 훈련의 정규화를 개선할 수 있으며, 만약 그렇다면 어떻게 이루어지는가?
• RQ5 제안된 반지도 학습 방법은 표준 기준 데이터셋에서 성능 향상에 기여하는가?

주요 결과

• 특성들을 추정된 대각 피셔 정보행렬의 제곱근 역수로 스케일링한 후 드롭아웃 훈련은 L2 정규화와 일阶 등가이다.
• 이 방법은 특성의 통계적 성질에 따라 적응적으로 정규화함으로써 일반화 성능을 향상시키며, 로지스틱 회귀에서 희귀하지만 유용한 특성들을 선호한다.
• 각 단계에서 선형화된 드롭아웃 정규화 문제를 해결하는 데 있어 아다그레드의 밀접한 유사체가 존재함을 보여주며, 이는 두 알고리즘 간의 깊은 연결 고리를 드러낸다.
• 비지도 데이터를 활용해 정규화를 정교화함으로써, 다양한 문서 분류 작업에서 일관되게 성능 향상이 이루어진다.
• IMDB 리뷰 데이터셋에서 반지도 드롭아웃 방법은 최신 기준 정확도를 달성하며 이전 방법들을 능가한다.
• 많은 양의 지도 데이터가 존재하는 상황에서도 개선 효과가 관찰되어, 비지도 데이터가 정규화에 의미 있는 인덕티브 바이어스를 기여함을 시사한다.