[논문 리뷰] Advantage of Deep Neural Networks for Estimating Functions with Singularity on Curves.

Masaaki Imaizumi, Kenji Fukumizu|arXiv (Cornell University)|2020. 11. 04.

Model Reduction and Neural Networks참고 문헌 34인용 수 5

한 줄 요약

이 논문은 깊이 있는 신경망(DNNs)이 부드러운 곡선을 따라 특이성을 가진 비스무스 함수를 추정할 때 거의 최적의 수렴 속도를 달성함을 보여준다. 이는 전통적인 방법들인 선형 추정기와 웨이브렛 기반 기법들보다 뛰어난 성능을 발휘한다. 이 우월성은 DNN의 다층 아키텍처 덕분이며, 이는 특이성의 기하학적 구조를 효과적으로 포착할 수 있기 때문이다.

ABSTRACT

We develop a theory to elucidate the reason that deep neural networks (DNNs) perform better than other methods. In terms of the nonparametric regression problem, it is well known that many standard methods attain the minimax optimal rate of estimation errors for smooth functions, and thus, it is not straightforward to identify the theoretical advantages of DNNs. This study fills this gap by considering the estimation for a class of non-smooth functions with singularities on smooth curves. Our findings are as follows: (i) We derive the generalization error of a DNN estimator and prove that its convergence rate is almost optimal. (ii) We reveal that a certain class of common models are sub-optimal, including linear estimators and other harmonic analysis methods such as wavelets and curvelets. This advantage of DNNs comes from a fact that a shape of singularity can be successfully handled by their multi-layered structure.

연구 동기 및 목표

• 비스무스 함수 추정에서 표준 방법들이 이미 부드러운 함수에 대해 최소 최대 최적 속도를 달성하고 있음에도, 깊이 있는 신경망(DNNs)이 가지는 이론적 우월성을 규명하는 것.
• 대상 함수가 부드러운 곡선을 따라 특이성을 보일 경우 DNN의 추정 성능을 분석하는 것.
• 이러한 비스무스 함수에 대해 DNN이 거의 최적의 수렴 속도를 달성함을 입증하여 DNN 우월성에 대한 이론적 갭을 메우는 것.
• 일반적인 방법들인 선형 추정기와 조화 분석 도구(예: 웨이브렛, 커브렛)가 곡선 기반 특이성을 효율적으로 표현하지 못함에 따라 이 설정에서 비최적임을 보여주는 것.

제안 방법

• 특이성이 부드러운 곡선에 존재하는 함수를 갖는 비모수 회귀 프레임워크에서 DNN 추정기의 일반화 오차에 대한 이론적 분석.
• 네트워크 아키텍처와 데이터 분포에 대한 적절한 가정 하에 DNN 추정기의 수렴 속도 유도.
• 기존 알려진 최소 최대 하한과 DNN 수렴 속도를 비교하여 거의 최적성 입증.
• 선형 추정기와 조화 분석 방법(예: 웨이브렛, 커브렛)이 곡선 기반 특이성을 다룰 때 겪는 구조적 한계 식별.
• 계층적 특징 학습을 활용하여 특이성의 기하학적 복잡성을 모델링하기 위해 다층 네트워크 아키텍처 활용.
• DNN이 곡선을 따라 변화하는 불연속성을 적응적으로 표현할 수 있는 능력이 깊이에 기인하며, 너비만으로는 이루어지지 않음을 공식적으로 증명.

실험 결과

연구 질문

• RQ1 왜 깊이 있는 신경망은 부드러운 곡선을 따라 특이성을 가진 함수를 추정할 때 표준 비모수 방법보다 뛰어나게 작용하는가?
• RQ2 곡선 기반 특이성을 가진 함수에 대해 DNN 추정기의 수렴 속도는 얼마이며, 이는 최소 최대 최적 속도와 어떻게 비교되는가?
• RQ3 웨이브렛과 커브렛과 같은 고전적 방법들은 이 함수 클래스에 대해 비최적일까? 만약 그렇다면 그 이유는 무엇인가?
• RQ4 DNN의 다층 아키텍처는 얕거나 선형 모델에 비해 기하학적 특이성을 어떻게 더 잘 표현할 수 있는가?

주요 결과

• DNN 추정기는 부드러운 곡선을 따라 특이성을 가진 함수를 추정할 때 거의 최적의 수렴 속도를 달성한다.
• 선형 추정기와 조화 분석 기반 방법(예: 웨이브렛, 커브렛)은 이 함수 클래스에 대해 비최적임이 입증된다.
• DNN의 이론적 우월성은 깊이 있는 아키텍처를 통해 특이성의 기하학적 구조를 효과적으로 모델링할 수 있다는 능력에서 기인한다.
• 다층 설계 덕분에 DNN는 곡선을 따라 특이성의 모양과 위치를 적응적으로 포착할 수 있으며, 이는 간단한 모델들이 효율적으로 표현하지 못하는 바이다.