[논문 리뷰] Deep Neural Networks Learn Non-Smooth Functions Effectively

Masaaki Imaizumi, Kenji Fukumizu|arXiv (Cornell University)|2018. 02. 13.

Neural Networks and Applications인용 수 25

한 줄 요약

이 논문은 ReLU 활성화 함수를 갖는 딥 네ural 네트워크(DNNs)가 비연속적이고 조각별로 연속적인 함수를 추정할 때 거의 최적의 수렴 속도를 달성함을 보여준다. 이는 이러한 설정 하에서 커널 추정기나 시리즈 추정기와 같은 기존 방법들을 능가한다. 이론적으로 DNNs는 일반화 오차율을 $ O\left(\max\left\{n^{-2\beta/(2\beta+D)}, n^{-\alpha/\alpha+D-1}\right\} \right) $로 달성하며, 이는 해당 함수 클래스에 대해 최소최대(minimax) 최적이다. 또한 이 수렴 속도를 달성하기 위한 깊이와 너비의 설계 지침을 제공한다.

ABSTRACT

We theoretically discuss why deep neural networks (DNNs) performs better than other models in some cases by investigating statistical properties of DNNs for non-smooth functions. While DNNs have empirically shown higher performance than other standard methods, understanding its mechanism is still a challenging problem. From an aspect of the statistical theory, it is known many standard methods attain the optimal rate of generalization errors for smooth functions in large sample asymptotics, and thus it has not been straightforward to find theoretical advantages of DNNs. This paper fills this gap by considering learning of a certain class of non-smooth functions, which was not covered by the previous theory. We derive the generalization error of estimators by DNNs with a ReLU activation, and show that convergence rates of the generalization by DNNs are almost optimal to estimate the non-smooth functions, while some of the popular models do not attain the optimal rate. In addition, our theoretical result provides guidelines for selecting an appropriate number of layers and edges of DNNs. We provide numerical experiments to support the theoretical results.

연구 동기 및 목표

• 실제로 DNNs가 비연속 함수에서 표준 모델보다 뛰어나게 작용하는 이유를 이해하는 데 있어 이론적 격차를 메우기 위해.
• 기존의 매끄러움 기반 이론에서 완전히 다루지 못하는 조각별로 연속적인 함수를 학습할 때 DNNs의 일반화 오차를 분석하기 위해.
• 커널 및 시리즈 방법과 달리 DNNs가 비연속 함수에 대해 최소최대 최적 수렴 속도를 달성함을 보여주기 위해.
• 최적의 추정 성능를 달성하기 위해 깊이와 너비를 결정하는 실용적인 설계 규칙 유도하기 위해.

제안 방법

• ReLU 활성화 함수를 사용한 최소제곱 및 베이즈 추정기 기반 DNN 일반화 오차 이론적 분석.
• 매끄러움 매개변수 $\alpha$ 및 $\beta$와 입력 차원 $D$로 매개변수화된 비연속 회귀에서 DNN의 수렴 속도 유도.
• 표준 방법(예: 커널 및 시리즈 추정기)의 하한을 분석하기 위해 직교 기저 분해(예: 삼각기저)의 활용.
• 최소최대 이론을 적용하여 DNNs가 로그 인자들을 제외한 최적의 수렴 속도 $ O\left(\max\left\{n^{-2\beta/(2\beta+D)}, n^{-\alpha/(\alpha+D-1)}\right\} \right) $ 를 달성함을 보여줌.
• 아키텍처 제약 조건 유도: 층 수 $ \leq c(1+\max\{\beta/D, \alpha/(2(D-1))\}) $ 및 파라미터 수 $ \leq c' n^{\max\{D/(2\beta+D), (D-1)/(\alpha+D-1)\}} $.
• 이론적 수렴 속도와 표준 모델과의 성능 비교를 검증하기 위한 수치 실험 수행.

실험 결과

연구 질문

• RQ1 DNNs는 표준 모델이 실패하는 비연속적이고 조각별로 연속적인 함수에 대해 최적의 수렴 속도를 달성할 수 있는가?
• RQ2 이러한 비연속 함수를 학습할 때 DNNs의 이론적 일반화 오차율은 무엇인가?
• RQ3 매끄러움 매개변수 $\alpha$ 및 $\beta$와 입력 차원 $D$는 DNNs의 수렴 속도에 어떻게 영향을 미치는가?
• RQ4 비연속 함수 추정에서 DNNs가 커널 및 시리즈 방법보다 뛰어난 이유는 무엇인가, 비록 매끄러운 함수에서는 유사한 성능를 보일지라도?
• RQ5 최적의 추정 속도를 달성하기 위해 필요한 아키텍처 선택(깊이 및 너비)은 무엇인가?

주요 결과

• DNNs는 비연속 함수에 대해 일반화 오차율을 $ O\left(\max\left\{n^{-2\beta/(2\beta+D)}, n^{-\alpha/(\alpha+D-1)}\right\} \right) $ 로 달성하며, 이는 로그 인자들을 제외한 최소최대 최적이다.
• 이 최적의 수렴 속도는 커널 방법이나 직교 시리즈 추정기와 같은 표준 방법으로는 달성할 수 없으며, 이는 불연속성의 표현이 열악하여 수렴 속도가 느려지기 때문이다.
• D=1 인 경우, 직교 시리즈 추정기의 하한은 $ \Omega(n^{-2/3}) $ 이며, DNNs는 $ O(n^{-2/3}) $ 를 달성하여 최적 속도를 일치시킨다.
• 일반적인 $ D \geq 2 $ 에서는 시리즈 추정기의 하한이 $ \Omega(n^{-2/(2+D)}) $ 이며, DNNs는 동일한 속도를 달성하여 최소최대 최적성 확인.
• DNNs의 필요 층 수는 $ c(1+\max\{\beta/D, \alpha/(2(D-1))\}) $ 로 제한되어 있어 최적 수렴을 보장한다.
• 최적의 수렴 속도를 달성하기 위해 파라미터 수는 $ c' n^{\max\{D/(2\beta+D), (D-1)/(\alpha+D-1)\}} $ 로 스케일되어야 하며, 이는 설계 지침을 제공한다.