[논문 리뷰] Sharp Rate of Convergence for Deep Neural Network Classifiers under the Teacher-Student Setting

Tianyang Hu, Zuofeng Shang외 1명|arXiv (Cornell University)|2020. 01. 19.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 베이즈 분류기가 ReLU 네트워크인 티처-스터디 프레임워크 하에서 깊이 있는 신경망 분류기의 날카운 수렴 속도 $\widetilde{O}_d(n^{-2/3})$ 를 확립한다. 분석 결과, 데이터 차원 $d$ 는 수렴 속도에 로그적으로만 영향을 미치며, 차원의 극복 문제에도 불구하고 딥 러닝의 성공에 대한 이론적 설명을 제공한다.

ABSTRACT

Classifiers built with neural networks handle large-scale high dimensional data, such as facial images from computer vision, extremely well while traditional statistical methods often fail miserably. In this paper, we attempt to understand this empirical success in high dimensional classification by deriving the convergence rates of excess risk. In particular, a teacher-student framework is proposed that assumes the Bayes classifier to be expressed as ReLU neural networks. In this setup, we obtain a sharp rate of convergence, i.e., $ ilde{O}_d(n^{-2/3})$, for classifiers trained using either 0-1 loss or hinge loss. This rate can be further improved to $ ilde{O}_d(n^{-1})$ when the data distribution is separable. Here, $n$ denotes the sample size. An interesting observation is that the data dimension only contributes to the $\log(n)$ term in the above rates. This may provide one theoretical explanation for the empirical successes of deep neural networks in high dimensional classification, particularly for structured data.

연구 동기 및 목표

• 고차원 분류에서 딥 뉴럴 네트워크의 경험적 성공에 대한 이론적 설명을 제공하기 위해.
• 기존의 매끄러움 가정이 실패하는 비모수적 설정에서 딥 러닝 분류기의 통계적 이해 부족을 메우기 위해.
• 최적의 결정 경계가 ReLU 신경망인 티처-스터디 프레임워크에서 초과 위험의 수렴 속도를 분석하기 위해.
• 기존 비모수적 방법과 달리 딥 네트워크가 분류 문제에서 차원의 극복 문제를 극복할 수 있는지 조사하기 위해.
• 기존의 회귀 기반 수렴 결과를 구조적 결정 경계 하에서 0-1 손실과 허프 손실을 고려해 분류 문제로 확장하기 위해.

제안 방법

• 베이즈 분류기를 ReLU 딥 뉴럴 네트워크로 모델링하고, 학생 네트워크가 이를 근사하도록 하는 티처-스터디 프레임워크를 제안한다.
• 이 설정 하에서 0-1 손실과 허프 손실의 경험적 최소화자 초과 위험을 분석하고, 비점근적 위험 분해를 사용한다.
• 학생 네트워크의 함수 클래스에 대한 커버링 수를 통해 일반화 경계를 적용하고, 깊이 있는 ReLU 네트워크의 슈퍼노름 엔트로피를 활용한다.
• 초과 위험과 $\phi$-위험 간의 관계를 설정하기 위해 Tsybakov 노이즈 조건을 사용하여, 약한 매끄러움 가정 하에서도 날카운 수렴 분석이 가능하게 한다.
• 일반 초과 위험 경계 레마의 조건을 검증함으로써 수렴 속도를 확립한다. 이는 근사 오차, 노이즈 조건, 복잡도 제어를 포함한다.
• 근사 오차, 추정 오차, 네트워크 복잡도를 균형 잡는 방식으로 $\widetilde{O}_d(n^{-2/3})$ 를 유도하며, 여기서 $d$ 는 오직 로그 인자로만 영향을 미친다.

실험 결과

연구 질문

• RQ1 기존 비모수적 방법이 실패하는 상황에서도 딥 뉴럴 네트워크 분류기가 고차원 분류에서 빠른 수렴 속도를 달성할 수 있는가?
• RQ2 베이즈 분류기가 ReLU 네트워크인 티처-스터디 설정에서 초과 위험의 날카운 수렴 속도는 무엇인가?
• RQ3 데이터 차원 $d$ 는 수렴 속도에 어떻게 영향을 미치며, 이 설정에서 차원의 극복 문제가 완화될 수 있는가?
• RQ4 분리 가능한 데이터 분포 조건 하에서 수렴 속도가 향상되는가? 만약 그렇다면 얼마나 향상되는가?
• RQ5 특히 매끄럽지 않은 결정 경계에 대해, 분류 문제에서 딥 네트워크의 이론적 분석이 매끄러움 가정을 초월할 수 있는가?

주요 결과

• 티처-스터디 설정에서 ReLU 네트워크를 가정할 때, 경험적 0-1 손실 최소화자의 초과 위험은 날카운 속도 $\widetilde{O}_d(n^{-2/3})$ 로 수렴한다.
• 데이터 분포가 분리 가능한 경우, 수렴 속도는 $\widetilde{O}_d(n^{-1})$ 으로 향상되어 유리한 데이터 조건에서 더 빠른 학습이 가능함을 시사한다.
• 데이터 차원 $d$ 는 수렴 속도에 오직 로그 인자로만 기여하므로, 딥 네트워크가 차원의 극복 문제를 효과적으로 완화할 수 있음을 시사한다.
• Tsybakov 노이즈 조건과 유한한 네트워크 가중치를 포함한 약한 가정 하에서도 분석이 유효하여, 실제 데이터 구조에 대해 강건함을 입증한다.
• 주어진 가정 하에서 $\widetilde{O}_d(n^{-2/3})$ 는 향상될 수 없으며, 이 설정에 대해 날카운 경계로 확인된다.
• 결과는 고차원 이미지 분류에서 딥 러닝의 경험적 성공에 대한 이론적 기반을 제공하며, 데이터 차원이 크지만 일반화 성능이 높은 상황을 설명한다.