[논문 리뷰] Deep ReLU network approximation of functions on a manifold

Johannes Schmidt-Hieber|arXiv (Cornell University)|2019. 08. 02.

Neural Networks and Applications참고 문헌 27인용 수 53

한 줄 요약

이 논문은 희소하게 연결된 깊은 ReLU 네트워크가 d*-차원 매니폴드에 내재된 Hölder 함수들을 근사할 수 있으며, 오차 ε를 달성하기 위해 O(ε^{-d*/β} log(1/ε))개의 0이 아닌 매개변수를 필요로 하고, 이러한 네트워크 위의 ERM에 대한 통계적 위험 한계를 도출한다.

ABSTRACT

Whereas recovery of the manifold from data is a well-studied topic, approximation rates for functions defined on manifolds are less known. In this work, we study a regression problem with inputs on a $d^*$-dimensional manifold that is embedded into a space with potentially much larger ambient dimension. It is shown that sparsely connected deep ReLU networks can approximate a Hölder function with smoothness index $β$ up to error $ε$ using of the order of $ε^{-d^*/β}\log(1/ε)$ many non-zero network parameters. As an application, we derive statistical convergence rates for the estimator minimizing the empirical risk over all possible choices of bounded network parameters.

연구 동기 및 목표

• 입력이 더 높은 차원 공간에 내재된 알려지지 않은 d*-차원 매니폴드 위에 놓일 때 함수 근사를 연구하는 동기를 부여한다.
• 매니폴드 구조를 활용하여 우호적인 근사 속도를 달성하는 깊은 ReLU 네트워크 구성을 개발한다.
• ε, d*, β 및 로그 인자와 연결된 명시적 매개변수 수 한계와 오차 속도를 확립한다.
• 매니폴드 회귀 설정에서 네트워크 클래스에 대한 ERM의 통계적 위험 한계를 도출한다.

제안 방법

• 가중치를 제한하고 희소 연결을 갖는 깊은 ReLU 네트워크를 정의한다.
• 매니폴드에서 partition of unity와 국소 차원 근사를 활용하는 네트워크 구성을 개발한다.
• 매끄러운 국소 좌표계와 Taylor 형 근사를 사용하여 국소 네트워크를 구축하고, 이를 네트워크 구성 규칙(재선/항등을 포함한 ReLU 특성)을 통해 결합한다.
• 매끄러운 국소 좌표를 갖는 콤팩트 매니폴드에서 Hölder 함수에 대한 근사 bound를 증명하여 로그 항까지의 속도 ε^{-d*/β}를 얻는다.
• 모든 네트워크 매개변수를 1로 절대값이 제한된 상태로 유지하면서도 근사 품질을 손상시키지 않는(제한 매개변수 구간) 임계 조건을 보인다.
• 네트워크 클래스에 대한 경험적 위험 최소화에 대해 근사 오차를 통계적 위험 한계로 변환한다(오라클 유형 부등식).

실험 결과

연구 질문

• RQ1 입력이 매니폴드 위에 있을 때, 희소하게 연결된 깊은 ReLU 네트워크가 ε^{-d*/β}의 속도(로그 인자를 제외한)로 Hölder 함수를 근사할 수 있는가?
• RQ2 매니폴드에서 ε-근사를 달성하기 위해 필요한 비영 네트워크 매개변수의 수는 얼마이며, 가중치를 1로 제한할 수 있는가?
• RQ3 데이터가 알려지지 않은 매니폴드에 놓여 있을 때 이러한 네트워크 계열에 대한 ERM의 통계적 위험에 어떤 시사점이 있는가?
• RQ4 로컬 좌표 차트와 유니티(partition of unity)를 깊은 네트워크에 어떻게 통합하여 매니폴드 구조를 활용한 근사를 개선할 수 있는가?

주요 결과

• 매끄러운 국소 좌표를 갖는 콤팩트 d*-차원 매니폴드에서 ε-근사가 희소하게 연결된 ReLU 네트워크로 가능하며, O(ε^{-d*/β} log(1/ε))개의 0이 아닌 매개변수로 달성된다.
• 구성은 로컬 차트, 파티션 오브 유니티, 곱셈 네트워크에서 시작하여 네트워크 구성 규칙으로 결합된다.
• 모든 네트워크 가중치를 절대값이 1로 제한된 상태로 선택할 수 있어, 실용적인 초기화 및 학습 제약과 일치한다.
• 매니폴드 위의 입력에 대해 네트워크 클래스에 대한 회귀에서 경험적 위험 최소화가 적절한 깊이 L 및 매개변수 희소성 s의 선택 하에 예측 위험을 n^{-2β/(2β+d*)}의 차수로 달성한다(다항로그 인자를 수반하는).
• 결과는 기하학적 매니폴드 구조(d*)와 근사 및 통계적 속도 간의 연관성을 제시하며, 매끄러운 좌표 차트를 활용하는 이점에 주목한다.