[논문 리뷰] Estimation of a function of low local dimensionality by deep neural networks

Michael Köhler, Adam Krzyżak외 1명|arXiv (Cornell University)|2019. 08. 29.

Statistical Methods and Inference인용 수 4

한 줄 요약

이 논문은 고차원 데이터에서 局소적으로 저차원 구조를 가지는 경우 딥 뉴럴 네트워크(DNNs)가 비모수적 회귀에서 최적 수렴 속도를 달성할 수 있음을 보여준다. 국소 차원성 $d^*$에 적응하는 DNN 기반 추정기 구축을 통해 저자들은 수렴 속도가 $n^{-2p/(2p+d^*)}$ 임을 입증하였으며, 이는 $d^* \ll d$ 일 때 차원의 극복(curse of dimensionality)을 효과적으로 피할 수 있음을 의미한다. 이 방법은 B-spline을 통한 국소 다항식 근사와 계층적 분할을 사용하여 국소적으로 저차원 의존성을 가지는 함수를 모델링한다.

ABSTRACT

Deep neural networks (DNNs) achieve impressive results for complicated tasks like object detection on images and speech recognition. Motivated by this practical success, there is now a strong interest in showing good theoretical properties of DNNs. To describe for which tasks DNNs perform well and when they fail, it is a key challenge to understand their performance. The aim of this paper is to contribute to the current statistical theory of DNNs. We apply DNNs on high dimensional data and we show that the least squares regression estimates using DNNs are able to achieve dimensionality reduction in case that the regression function has locally low dimensionality. Consequently, the rate of convergence of the estimate does not depend on its input dimension $d$, but on its local dimension $d^*$ and the DNNs are able to circumvent the curse of dimensionality in case that $d^*$ is much smaller than $d$. In our simulation study we provide numerical experiments to support our theoretical result and we compare our estimate with other conventional nonparametric regression estimates. The performance of our estimates is also validated in experiments with real data.

연구 동기 및 목표

• 고차원 데이터에서 국소적으로 저차원 구조를 가지는 경우 딥 뉴럴 네트워크가 잘 작동하는 이유를 이론적으로 설명하는 프레임워크를 개발하는 것.
• 비모수적 회귀에서 차원의 극복 문제를 해결하기 위해 전반적인 입력 차원 $d$ 가 아니라 국소 차원성 $d^*$ 를 활용하는 것.
• 회귀 함수가 국소적으로 저차원 구조를 가지는 경우 DNN이 수렴 속도 $n^{-2p/(2p+d^*)}$ 를 달성할 수 있음을 입증하는 것.
• 이미지 및 음성 인식과 같은 과제에서 자주 나타나는 국소적으로 저차원 다양체를 가지는 데이터에서 DNN의 경험적 성공에 대한 이론적 근거를 제공하는 것.

제안 방법

• B-spline 기저 함수를 통한 국소 다항식 근사를 사용하는 DNN 기반 회귀 추정기를 구축하는 방법.
• 입력 공간을 국소적으로 최대 $d^*$ 개의 변수에 의존하는 영역으로 계층적 분할하여 국소 저차원 구조를 활용하는 방법.
• 국소 영역의 지시 함수를 표현하기 위해 잘라낸 B-spline 기저 함수 $B_{k,j}^{(trunc)}$ 를 사용하여 국소 근사를 가능하게 하는 방법.
• 각 국소 성분 $f_k(x_{J_k})$ 는 $d^*$ 차원 부분공간에서의 텐서곱 B-spline $B_{{\mathbf{j}},M,{\mathbf{t}}}$ 를 사용하여 근사된다.
• 최종 DNN 추정기는 이러한 기저 함수들의 선형 조합이며, 계수 $\gamma_j$ 는 $L_2$ 오차를 최소화하도록 선택된다.
• 이 구축 방식은 매개변수 수가 $n^{d^*/(2p + d^*)}$ 에 비례하도록 보장하여 최적 수렴 속도를 이룬다.

실험 결과

연구 질문

• RQ1 기저 함수가 국소적으로 저차원 구조를 가지는 경우, 딥 뉴럴 네트워크가 전반적인 부드러움이 아닌 국소 저차원 구조를 가진 비모수적 회귀에서 최적 수렴 속도를 달성할 수 있는가?
• RQ2 DNN에서 국소 적응형 기저 함수를 사용할 경우 $d^* \ll d$ 일 때 차원의 극복을 피할 수 있는가?
• RQ3 국소 저차원 가정 하에 DNN 기반 추정기의 이론적 수렴 속도는 무엇인가?
• RQ4 DNN 추정기의 근사 오차는 국소 차원 $d^*$ 와 부드러움 $p$ 에 따라 어떻게 달라지는가?
• RQ5 제안된 방법은 희소한 국소 구조를 가지는 고차원 설정에서 전통적인 비모수적 추정기보다 우월한 성능을 보일 수 있는가?

주요 결과

• DNN 기반 회귀 추정기는 수렴 속도가 $n^{-2p/(2p + d^*)}$ 로, 전반적인 입력 차원 $d$ 가 아니라 국소 차원 $d^*$ 에만 의존하므로 차원의 극복을 피한다.
• 이 속도는 로그 요소를 제외한 최적 수준이며, $d^*$ 차원 다양체 위의 $(p,C)$-부드러운 함수에 대한 최소 최대 하한선(minimax lower bound)과 일치한다.
• 이 방법은 $J \sim 2^{K_1} \cdot K_2 \cdot n^{d^*/(2p + d^*)}$ 개의 기저 함수를 사용하는 DNN을 구성하며, 국소 성분의 초위상 노름에 따라 계수의 유계성을 확보한다.
• 근사 오차는 $c_{46} \cdot K_2 \cdot n^{-p/(2p + d^*)}$ 로 유계이며, $K_1$ 과 $K_2$ 가 적절히 선택되면 $n$ 이 증가함에 따라 감소한다.
• $L_2$ 위험은 $c_{50} \cdot 2^{K_1} \cdot K_2 \cdot n^{-2p/(2p + d^*)}$ 로 유계이며, 이는 주어진 가정 하에 속도가 달성 가능하다는 것을 확인한다.
• 수치 실험과 실데이터 검증을 통해 DNN 추정기가 고차원이고 국소적으로 저차원 구조를 가지는 설정에서 전통적인 비모수적 방법보다 뛰어난 성능을 보임을 확인하였다.