[논문 리뷰] On Convergence and Generalization of Dropout Training

Poorya Mianjy, Raman Arora|arXiv (Cornell University)|2020. 01. 01.

Neural Networks and Applications인용 수 6

한 줄 요약

이 논문은 약간의 과다매개변수화 조건 하에서 이중층 ReLU 네트워크에서 드롭아웃 훈련을 분석하며, 로지스틱 손실과 마진 분리 데이터 분포 조건 하에서 드롭아웃이 $\epsilon$-하위최적 테스트 오차로 수렴함을 보여준다. 수렴에 소요되는 반복 횟수는 $O(1/\epsilon)$이다. 주요 기여는 커널 기반의 분리 조건 하에서 드롭아웃에 대한 일반화 보장을 제시하는 것이다.

ABSTRACT

We study dropout in two-layer neural networks with rectified linear unit (ReLU) activations. Under mild overparametrization and assuming that the limiting kernel can separate the data distribution with a positive margin, we show that dropout training with logistic loss achieves $\epsilon$-suboptimality in test error in $O(1/\epsilon)$ iterations.

연구 동기 및 목표

• 과다매개변수화된 이중층 ReLU 신경망에서 드롭아웃 훈련의 수렴성과 일반화 거동을 이해하는 것.
• 한계 커널을 통한 약간의 과다매개변수화와 데이터 분리 가능성 조건 하에서 테스트 오차 수렴에 대한 이론적 보장을 확립하는 것.
• 드롭아웃 훈련이 로지스틱 손실을 사용할 때 커널 영역에서 양의 마진이 존재하는 조건 하에서 어떻게 일반화를 달성하는지 분석하는 것.
• 실제 드롭아웃 훈련과 과다매개변수 설정에서의 이론적 수렴 간 격차를 메우는 것.

제안 방법

• 데이터 크기에 따라 은닉 유닛 수가 증가하는 약간의 과다매개변수화 조건 하에서 이중층 ReLU 네트워크를 분석한다.
• 무한 너비 근사에서의 네트워크 한계 커널을 사용하여 일반화 성능을 특성화한다.
• 한계 커널이 데이터 분포를 양의 마진으로 분리할 수 있다고 가정하여 커널 공간 내 선형 분리 가능성을 확보한다.
• 출력층에 로지스틱 손실을 적용하고, 이 설정 하에서 테스트 오차 수렴 속도를 유도한다.
• 커널 방법과 일반화 이론 기법을 활용하여 반복 횟수에 따라 테스트 오차의 상한을 도출한다.
• 제시된 가정 하에 $\epsilon$-하위최적 테스트 오차가 $O(1/\epsilon)$ 반복 내에 달성됨을 증명한다.

실험 결과

연구 질문

• RQ1 과다매개변수화된 이중층 ReLU 네트워크에서 드롭아웃 훈련이 낮은 테스트 오차로 수렴하는가, 그리고 얼마나 빠른가?
• RQ2 한계 커널은 드롭아웃 조건 하에서 일반화를 가능하게 하는 데 어떤 역할을 하는가?
• RQ3 커널 공간 내 양의 마진이 드롭아웃 훈련의 빠른 수렴을 보장할 수 있는가?
• RQ4 로지스틱 손실은 과다매개변수 설정에서 드롭아웃과 어떻게 상호작용하여 일반화를 보장하는가?
• RQ5 테스트 오차 수렴의 의존성은 허용 가능한 최적성 수준 $\epsilon$ 에 따라 어떻게 달라지는가?

주요 결과

• 약간의 과다매개변수화 조건 하에서 로지스틱 손실을 사용한 드롭아웃 훈련은 $O(1/\epsilon)$ 반복 내에 $\epsilon$-하위최적 테스트 오차를 달성한다.
• 한계 커널이 데이터 분포를 양의 마진으로 분리할 경우 수렴 속도가 보장된다.
• 이 결과는 드롭아웃과 로지스틱 손실을 사용한 이중층 ReLU 네트워크에 특별히 적용된다.
• 분석은 커널 영역에 기반하며, 안정적인 커널 근사가 보장되기 위해 충분한 과다매개변수화를 가정한다.
• 일반화가 명시적 정규화를 통해 이루어지는 것이 아니라, 커널과 훈련 동역학의 암묵적 인덕티브 바이어스를 통해 달성된다.
• 이론적 프레임워크는 드롭아웃 훈련을 커널 방법과 연결하여 분리 가능성 조건 하에서 수렴 보장을 제공한다.