[논문 리뷰] Optimal Nonparametric Inference via Deep Neural Network

Ruiqi Liu, Ben Boukai외 1명|arXiv (Cornell University)|2019. 02. 05.

Statistical Methods and Inference참고 문헌 29인용 수 7

한 줄 요약

이 논문은 이전 문헌에서 발견된 비최적의 로그 인자 없이 딥 뉴럴 네트워크가 비모수적 추정에서 최소최대 최적 추정을 달성할 수 있음을 입증한다. 텐서 곱 B스플라인을 기반으로 한 네트워크 추정기 구축을 통해 저자들은 $L^2$ 최소최대 위험도가 로그 손실 없이 최적 속도 $n^{-2\beta/(2\beta+d)}$에 도달함을 증명하고, 추가로 점근적으로 타당한 신뢰구간과 최소최대 최적의 검정 절차를 도출한다.

ABSTRACT

Deep neural network is a state-of-art method in modern science and technology. Much statistical literature have been devoted to understanding its performance in nonparametric estimation, whereas the results are suboptimal due to a redundant logarithmic sacrifice. In this paper, we show that such log-factors are not necessary. We derive upper bounds for the $L^2$ minimax risk in nonparametric estimation. Sufficient conditions on network architectures are provided such that the upper bounds become optimal (without log-sacrifice). Our proof relies on an explicitly constructed network estimator based on tensor product B-splines. We also derive asymptotic distributions for the constructed network and a relating hypothesis testing procedure. The testing procedure is further proven as minimax optimal under suitable network architectures.

연구 동기 및 목표

• 딥 뉴럴 네트워크의 위험 경계에서 여전히 남아있는 부가적인 로그 인자를 제거함으로써 비모수적 추정 이론의 격차를 메우는 것.
• 텐서 곱 B스플라인을 기반으로 한 딥 뉴럴 네트워크 추정기를 구축하여 최적의 최소최대 $L^2$ 위험률을 달성하는 것.
• 점추정을 위한 점근적 분포를 도출하기 위해 구축된 네트워크 추정기의 점근적 분포를 유도하는 것.
• 네트워크 추정기를 기반으로 한 최소최대 최적의 가설 검정 절차를 개발하는 것.
• 회귀 함수 $f_0$가 가산적 구조를 띠는 경우에 더 향상된 속도를 달성할 수 있음을 보여주는 것: $f_0$가 단변량 $\beta$-홀더 함수의 합일 경우 $n^{-2\beta/(2\beta+1)}$의 속도를 달성한다.

제안 방법

• 근사화를 위한 기저로 텐서 곱 B스플라인을 사용하는 딥 뉴럴 네트워크 추정기를 구성하는 것.
• 텐서 곱 B스플라인이 깊이가 제어된 ReLU 네트워크를 통해 효율적으로 표현될 수 있음을 증명하는 것.
• 랜덤 설계 하에서 근사 오차와 추정 오차를 분석함으로써 $L^2$ 최소최대 위험의 상한을 유도하는 것.
• 이중 단계 추정 전략을 적용: 먼저 B스플라인 계수를 추정하고, 이를 바탕으로 깊이 있는 네트워크 구조로 매핑하는 것.
• 집중 불등식과 엔트로피 분석을 적용하여 확률적 오차를 제어하고, 명시적 구성 덕분에 로그 인자를 피하는 것.
• 규칙성 조건 하에서 네트워크 추정기의 점근적 정규성을 도출함으로써 신뢰구간을 가능하게 하는 것.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 로그 인자를 포함하지 않고도 최소최대 최적 비모수적 추정 속도를 달성할 수 있는가?
• RQ2 텐서 곱 B스플라인을 기반으로 한 딥 네트워크 추정기는 최적의 $L^2$ 최소최대 위험률 $n^{-2\beta/(2\beta+d)}$를 달성할 수 있는가?
• RQ3 구축된 네트워크 추정기는 점추정을 위한 타당한 점근적 분포를 갖는가?
• RQ4 네트워크 추정기는 최소최대 최적성의 비모수적 검정에서 검정 통계량으로 사용될 수 있는가?
• RQ5 회귀 함수가 가산적 구조를 띠는 경우 최적의 속도는 무엇인가?

주요 결과

• $L^2$ 최소최대 위험도가 로그 인자가 전혀 없이 최적의 속도 $n^{-2\beta/(2\beta+d)}$에 도달함을 입증하여 이전 연구에서 오랫동안 지속된 비최적성 문제를 해결하였다.
• 텐서 곱 B스플라인을 기반으로 한 구축된 네트워크 추정기는 최소최대 최적이며, 위험 경계가 이론적 하한선과 상수 인자 수준에서 일치한다.
• 네트워크 추정기의 점근적 분포가 도출되어 타당한 점추정 신뢰구간을 구성할 수 있게 되었다.
• 적절한 네트워크 아키텍처 선택 하에서 네트워크 추정기를 기반으로 한 가설 검정 절차가 최소최대 최적임을 증명하였다.
• $f_0$가 가산적일 경우(일반화된 단변량 $\beta$-홀더 함수의 합일 경우), 속도가 $n^{-2\beta/(2\beta+1)}$로 향상되며, 이는 스톤(1985)의 최소최대 하한선과 정확히 일치한다.
• 증명 과정에서 텐서 곱 B스플라인이 깊이 $O(\log n)$, 너비가 $n$에 대해 다항식 수준인 깊이 있는 ReLU 네트워크로 정확히 표현될 수 있음을 입증하여 최적의 근사가 가능함을 보였다.