[논문 리뷰] Advantage of Deep Neural Networks for Estimating Functions with Singularity on Hypersurfaces

Masaaki Imaizumi, Kenji Fukumizu|arXiv (Cornell University)|2020. 11. 04.

Machine Learning in Materials Science인용 수 12

한 줄 요약

이 논문은 깊이 신경망(DNNs)이 초표면에 특이점이 있는 비연속 함수를 추정할 때 표준 비모수적 방법(예: 커널 및 가우시안 프로세스 추정기)이 승리할 수 없는 영역에서 거의 최소최대 최적 수렴 속도를 달성함을 보여준다. 이 우월성은 DNN의 계층적이고 다층적인 구조 덕분이며, 이는 특이점의 기하학적 특징을 효율적으로 포착할 수 있게 해주며, 특히 초표면의 매끄러움도와 함수의 정규성 간의 균형이 단계 전이 영역에 있을 때 두드러진다.

ABSTRACT

We develop a minimax rate analysis to describe the reason that deep neural networks (DNNs) perform better than other standard methods. For nonparametric regression problems, it is well known that many standard methods attain the minimax optimal rate of estimation errors for smooth functions, and thus, it is not straightforward to identify the theoretical advantages of DNNs. This study tries to fill this gap by considering the estimation for a class of non-smooth functions that have singularities on hypersurfaces. Our findings are as follows: (i) We derive the generalization error of a DNN estimator and prove that its convergence rate is almost optimal. (ii) We elucidate a phase diagram of estimation problems, which describes the situations where the DNNs outperform a general class of estimators, including kernel methods, Gaussian process methods, and others. We additionally show that DNNs outperform harmonic analysis based estimators. This advantage of DNNs comes from the fact that a shape of singularity can be successfully handled by their multi-layered structure.

연구 동기 및 목표

• 비연속 회귀 설정에서 표준 비모수적 추정기와 비교해 깊이 신경망(DNNs)이 가지는 이론적 우월성을 규명하는 것.
• 매끄러운 초표면에 특이점이 있는 함수를 추정할 때 DNN의 일반화 오차 최소최대 최적 속도를 분석하는 것.
• DNN이 커널 방법, 가우시안 프로세스, 그리고 조화 분석 기반 추정기보다 우월해지는 조건을 규명하는 것.
• DNN이 뛰어난 수렴 속도를 달성하는 매개변수 영역(초표면의 매끄러움도 α와 함수의 매끄러움도 β 기준)을 식별하는 단계도면을 수립하는 것.

제안 방법

• 연구는 $\mathcal{F}_{\alpha,\beta,M}^{PS}$ 클래스에 속하는 함수에 대해 최소제곱 DNN 추정기 $\widehat{f}^{DL}$을 분석한다. 이 함수들은 $M$개의 조각별로 $\alpha$-번 미분 가능한 초표면을 제외하고는 $\beta$-번 미분 가능하다.
• 기대 $L^2$ 일반화 오차 $\mathbb{E}[\|\widehat{f}^{DL}-f^*\|_{L^2(P_X)}^2] = \widetilde{O}(\max\{n^{-2\beta/(2\beta+D)}, n^{-\alpha/(α+D-1)}\})$를 유도하여 거의 최적성을 보여준다.
• 최소최대 위험 이론을 사용해 DNN과 선형 추정기(커널, 가우시안 프로세스, 조화 분석 기반 방법 포함)를 비교한다.
• DNN이 다른 추정기보다 승리하는 영역을 식별하기 위해 $(\alpha, \beta)$-평면에 단계도를 구성한다. $D=5$일 때 임계선은 $\alpha = \frac{2\beta(D-1)}{D-2\beta}$이다.
• 비록 비연속 활성화 함수가 없더라도, DNN의 다층 아키텍처가 기하학적 특이점을 포착할 수 있기 때문에 매끄러운 DNN도 비연속 함수를 효과적으로 추정할 수 있음을 증명한다.
• 조화 분석 기반 추정기의 추정 오차 하한을 유도하기 위해 웨이브렛 기반 함수 표현과 푸리에 분석을 사용한다. 이는 이러한 방법이 특이 영역에서 최적성이 아님을 보여준다.

실험 결과

연구 질문

• RQ1 깊이 신경망 추정기가 초표면 특이점이 있는 함수에 대해 표준 비모수적 추정기보다 더 빠른 수렴 속도를 달성하는 조건은 무엇인가?
• RQ2 초표면의 매끄러움도($\alpha$)와 각 조각 내 함수의 매끄러움도($\beta$)가 DNN의 최소최대 속도에 어떻게 영향을 미치는가?
• RQ3 왜 DNN은 커널 방법, 가우시안 프로세스, 조화 분석 기반 추정기보다 특이점이 있는 초표면의 함수를 추정할 때 더 우월한가?
• RQ4 비연속 활성화 함수가 없는 매끄러운 DNN도 여전히 비연속 함수에 대해 거의 최소최대 속도를 달성할 수 있는가? 만약 그렇다면 그 이유는 무엇인가?
• RQ5 DNN이 우세한 영역과 그렇지 않은 영역을 나누는 $(\alpha, \beta)$-매개변수 공간 내의 단계 전이 행동은 어떻게 되는가?

주요 결과

• DNN 추정기는 $\widetilde{O}(\max\{n^{-2\beta/(2\beta+D)}, n^{-\alpha/(α+D-1)}\})$의 일반화 오차를 달성하며, 이는 초표면 특이점이 있는 함수에 대해 거의 최소최대 최적이다.
• DNN의 수렴 속도는 초표면이 더 매끄럽게($\alpha$가 증가)지거나 함수가 더 규칙적($\beta$가 증가)해질수록 향상되며, 이는 두 항 중 느린 쪽에 의해 결정된다.
• 매개변수 쌍 $(\alpha, \beta)$가 단계도에서 임계선 $\alpha = \frac{2\beta(D-1)}{D-2\beta}$ 위에 있을 경우, DNN은 커널, 가우시안 프로세스, 조화 분석 기반 방법과 같은 표준 추정기보다 뛰어난 성능을 보인다.
• 비록 비연속 활성화 함수가 없더라도, DNN의 계층적 구조 덕분에 특이점이 있는 초표면의 비연속 함수를 추정할 때 성능 저하 없이 효과적으로 추정할 수 있다.
• 조화 분석 기반 추정기의 하한을 확립하여, 2차원 예시에서 오차율이 $\Omega(n^{-1/3})$임을 보여주며, DNN은 $O(n^{-1/2})$의 오차율을 달성함으로써 특이 영역에서 DNN의 우월성을 입증한다.
• $(\alpha, \beta)$-평면 내 단계 전이 행동은 DNN의 우월성이 초표면이 상대적으로 매끄럽고 함수가 중간 정도로 규칙적일 때 가장 두드러진다는 것을 드러내며, 이는 실제 이미지 에지 검출 작업과 일치한다.