[논문 리뷰] New error bounds for deep networks using sparse grids

Hadrien Montanelli, Qiang Du|arXiv (Cornell University)|2017. 12. 23.

Sparse and Compressive Sensing Techniques인용 수 4

한 줄 요약

이 논문은 희박 격자 근사법을 활용하여 다변수 함수를 코로보프 공간에서 근사하는 깊이 있는 ReLU 신경망에 대한 새로운 오차 한계를 수립한다. 이는 차원의 극복 문제(curse of dimensionality)가 크게 완화됨을 보여주며, 깊이와 크기의 근사 복잡도가 각각 $\mathcal{O}(|\log_2 ϵ| \log_2 d)$ 및 $\mathcal{O}(\epsilon^{-1/2} |\log_2 \epsilon|^{3(d-1)/2 + 1} \log_2 d)$로 스케일링됨을 입증한다. 이는 희박 격자 정밀화 과정을 모방하기 위해 이진 트리 구조를 활용함으로써 달성된다.

ABSTRACT

We prove a theorem concerning the approximation of multivariate functions by deep ReLU networks. We present new error estimates for which the curse of the dimensionality is lessened by establishing a connection with sparse grids.

연구 동기 및 목표

• 깊이 있는 ReLU 네트워크를 희박 격자 이론과 연결하여 딥 러닝 근사에서의 차원의 극복 문제를 해결하고자 한다.
• 코로보프 공간의 함수에 대해 깊이 있는 네트워크를 이용한 근사 오차에 대한 엄밀한 상한을 수립하고자 한다.
• 계층적인 희박 격자 구조를 활용함으로써 깊이 있는 네트워크가 얕은 네트워크보다 더 빠른 수렴 속도를 달성할 수 있음을 보여주고자 한다.
• 네트워크 아키텍처가 대상 함수에 독립적이며, 오직 가중치만 함수에 맞게 조정됨을 보여주고자 한다.

제안 방법

• 이 방법은 코로보프 공간의 함수에 대한 희박 격자 보간 근사를 계층 기반 근사 표현을 통해 깊이 있는 ReLU 네트워크로 근사한다.
• 희박 격자의 정밀화 과정을 모방하기 위해 이진 트리 구조를 활용하여 깊이와 너비를 효율적으로 제어한다.
• 계수 $v_{\boldsymbol{l},\boldsymbol{i}}$를 갖는 기저 함수 $\phi_{\boldsymbol{l},\boldsymbol{i}}$를 사용하며, 이들의 감쇠 속도가 $2^{-|\boldsymbol{l}|_1}$임을 보장함으로써 안정성과 수렴성을 확보한다.
• 근사 오차는 희박 격자 전개의 잘라내기 오차와 기저 함수 근사 오차로 나누어 오차를 상한으로 제어한다.
• 정밀화 수준 $\ell$의 로그 스케일링에 따라 네트워크 깊이를 제어하며, 깊이 $\mathcal{O}(|\log_2 \delta| \log_2 d)$로 설정된다. 여기서 $\delta$는 잘라내기 오차를 제어한다.
• 네트워크 크기는 이진 트리 내 활성 노드의 수에 기반하며, 기저 함수의 수와 정밀화 수준에 따라 스케일링된다.

실험 결과

연구 질문

• RQ1 희박 격자 구조를 활용함으로써 깊이 있는 ReLU 네트워크가 높은 차원의 함수에 대해 얕은 네트워크보다 더 나은 근사 속도를 달성할 수 있는가?
• RQ2 희박 격자를 사용할 경우 딥 네트워크 근사에서 차원의 극복 문제가 어느 정도 감소하는가?
• RQ3 어떻게 깊이 있는 ReLU 네트워크가 이진 트리 아키텍처를 통해 희박 격자의 계층적 구조를 모방할 수 있는가?
• RQ4 이 프레임워크에서 네트워크의 깊이와 크기는 원하는 정밀도 $\epsilon$과 차원 $d$에 대해 어떻게 의존하는가?
• RQ5 동일한 네트워크 아키텍처로 코로보프 공간의 모든 함수를 근사할 수 있으며, 오직 각 함수에 맞게 가중치만 조정되는가?

주요 결과

• 깊이 $\mathcal{O}(|\log_2 \epsilon| \log_2 d)$인 네트워크를 사용하여 근사 오차가 $\|f - f_N\|_{\infty} \leq \epsilon$로 상한이 둔다.
• 네트워크 크기는 $\mathcal{O}(\epsilon^{-1/2} |\log_2 \epsilon|^{3(d-1)/2 + 1} \log_2 d)$로 스케일링되며, 기존의 지수적 의존도에 비해 차원에 대한 지수적 의존도가 크게 감소함을 보여준다.
• 희박 격자의 이방성 구조를 활용함으로써 차원의 극복 문제가 완화되며, 축에 따라 정렬된 함수 행동과 잘 맞는다.
• 네트워크 아키텍처는 대상 함수에 독립적이며, 오직 가중치 $v_{\boldsymbol{l},\boldsymbol{i}}$만 조정됨으로써 함수 클래스에 대한 유니버설 설계가 가능하다.
• 증명은 계수 감쇠와 이진 트리를 통한 기저 함수 근사 제어에 기반하며, $\delta = \epsilon/2$일 때 총 오차가 $\epsilon$ 이내로 유지됨을 보장한다.
• 이 방법은 계수의 $\ell^2$ 감쇠 조건을 만족하고 기저 함수 근사가 효율적으로 구현 가능한 모든 전개에 일반화되며, 넓은 적용 가능성을 시사한다.