[논문 리뷰] Dropout Rademacher Complexity of Deep Neural Networks

Wei Gao, Zhi‐Hua Zhou|arXiv (Cornell University)|2014. 02. 16.

Advanced Neural Network Applications참고 문헌 26인용 수 4

한 줄 요약

이 논문은 딥 네ural 네트워크에서 드롭아웃의 라데마처 복잡도를 분석하며, 얕은 네트워크에서는 드롭아웃이 다항식적으로 복잡도를 감소시키지만, 깊은 네트워크에서는 지수적 감소를 가능하게 한다고 보여준다. 주요 기여는 깊은 아키텍처에서 드롭아웃이 모델 복잡도를 크게 억제함으로써 과적합을 방지하는 데 효과적인 이유를 이론적으로 설명하는 프레임워크를 제시한 것이다.

ABSTRACT

Great successes of deep neural networks have been witnessed in various real applications. Many algorithmic and implementation techniques have been developed, however, theoretical understanding of many aspects of deep neural networks is far from clear. A particular interesting issue is the usefulness of dropout, which was motivated from the intuition of preventing complex co-adaptation of feature detectors. In this paper, we study the Rademacher complexity of different types of dropout, and our theoretical results disclose that for shallow neural networks (with one or none hidden layer) dropout is able to reduce the Rademacher complexity in polynomial, whereas for deep neural networks it can amazingly lead to an exponential reduction of the Rademacher complexity.

연구 동기 및 목표

• 딥 네럴 네트워크에서 드롭아웃이 라데마처 복잡도에 미치는 영향을 이론적으로 분석하는 것.
• 유닛 드롭아웃, 웨이트 드롭아웃, 병합 드롭아웃의 세 가지 유형의 드롭아웃이 복잡도 감소에 미치는 영향을 비교하는 것.
• 딥 네트워크에서 라데마처 복잡도가 드롭아웃 비율 ρ에 따라 지수적으로 스케일링됨을 보여주어 더 날카운 generalization 바운드를 수립하는 것.
• 복잡도 바운드가 파라미터 수가 아닌 가중치 노름에 의존함을 보여주어 더 정교한 분석을 제공하는 것.

제안 방법

• 랜덤화된 네트워크 위에서 경험 과정의 기대 최대값을 분석하여 드롭아웃에 대한 일반적인 라데마처 일반화 바운드를 유도한다.
• 층 수에 대한 귀납법을 사용하여 얕은 아키텍처에서 시작해 깊은 네트워크의 라데마처 복잡도를 바ounds한다.
• 활성화 함수의 리프시츠 연속성(예: ReLU)을 적용하여 복잡도 바운드를 은닉 층을 통해 전파한다.
• 드롭아웃을 모델링하기 위해 랜덤 마스크(r_i)를 사용한 네트워크 출력의 재귀적 분해를 도입하여 기대 복잡도 분석을 가능하게 한다.
• L1 및 L2 가중치 노름을 통해 복잡도를 파라미터 수에서 분리하여 복잡도 기반 바운드를 적용한다.
• 집중 불등식과 라데마처 카오스의 성질을 활용하여 경험 과정의 기대 최대값을 바ounds한다.

실험 결과

연구 질문

• RQ1 얕은 신경망(0개 또는 1개의 은닉층)에서 드롭아웃은 라데마처 복잡도에 어떻게 영향을 미치는가?
• RQ2 다중 은닉층을 가진 깊은 신경망에서 드롭아웃은 라데마처 복잡도에 어떤 영향을 미치는가?
• RQ3 드롭아웃이 라데마처 복잡도를 지수적으로 감소시킬 수 있으며, 만약 가능하다면 어떤 조건에서 그러한 감소가 발생하는가?
• RQ4 유닛 드롭아웃, 웨이트 드롭아웃, 병합 드롭아웃 등의 다양한 드롭아웃 유형 간에 복잡도 감소 측면에서의 비교는 어떻게 이루어지는가?

주요 결과

• 얕은 신경망(0개 또는 1개의 은닉층)에서는 드롭아웃이 다항식적으로 라데마처 복잡도를 감소시키며, 구체적으로 k개의 은닉층에 대해 O(ρ^{k+1}) 또는 O(ρ^{(k+1)/2})로 표현된다.
• k개의 은닉층을 가진 깊은 신경망에서는 드롭아웃이 라데마처 복잡도를 지수적으로 감소시키며, 드롭아웃 유형에 따라 O(ρ^{k+1}) 또는 O(ρ^{(k+1)/2})로 바운드된다.
• 네트워크의 라데마처 복잡도는 L^k * ρ^{(k+1)/2} * B * ∏B_i / √n 비례하는 항으로 바운드되며, 여기서 L은 리프시츠 상수, ρ는 드롭아웃 비율, B_i는 가중치 노름이다.
• 복잡도 바운드는 총 파라미터 수가 아닌 L1 또는 L2 가중치 노름에 의존하므로, 드롭아웃이 모델 크기와 무관하게 복잡도를 제어함을 시사한다.
• 이론적 분석을 통해 드롭아웃이 과적합을 줄이는 데 효과적인 이유는 깊은 아키텍처에서 함수 클래스의 복잡도를 극적으로 감소시킬 수 있기 때문임을 확인한다.
• 결과는 전통적인 복잡도 측정법이 정규화의 이점을 포착하지 못하는 깊은 네트워크에서 드롭아웃이 특히 효과적인 이유를 더 정교한 설명을 제공한다.