[논문 리뷰] Optimal approximation of continuous functions by very deep ReLU networks

Dmitry Yarotsky|arXiv (Cornell University)|2018. 02. 10.

Neural Networks and Applications참고 문헌 20인용 수 121

한 줄 요약

그 논문은 [0,1]^ν에서 연속함수에 대해 매우 깊은 ReLU 네트워크가 가지는 최적 근사 속도를 특성화하고, 두 가지 구별된 단계와 깊이에 따른 속도들을 규정합니다.

ABSTRACT

We consider approximations of general continuous functions on finite-dimensional cubes by general deep ReLU neural networks and study the approximation rates with respect to the modulus of continuity of the function and the total number of weights $W$ in the network. We establish the complete phase diagram of feasible approximation rates and show that it includes two distinct phases. One phase corresponds to slower approximations that can be achieved with constant-depth networks and continuous weight assignments. The other phase provides faster approximations at the cost of depths necessarily growing as a power law $L\sim W^α, 0

연구 동기 및 목표

• [0,1]^ν에서 일반적인 연속함수가 ReLU 네트워크의 가중치 수 W와 균일성의 모듈러스 ω_f에 따라 얼마나 잘 근사될 수 있는지 조사한다.
• 더 빠른 수렴 속도가 더 큰 깊이나 불연속 가중치 할당을 필요로 하는지 결정한다.
• 실현 가능한 근사 속도의 완전한 위상 다이어그램을 확립하고 각 위상에 대한 조건을 확인한다.
• 최적 속도를 달성하는 아키텍처를 제시하고 로그 요인을 포함하여 최적성을 증명한다.

제안 방법

• 연속성의 모듈러스 ω_f를 정의하고 ||f - f~||_∞ 에 대해 W와 p에 따른 균일 노름에서의 근사를 연구한다 ||f - f~|| ≤ a ω_f(c W^{-p})로 표현한다.
• p ≤ 2/ν가 실현 가능하고 p > 2/ν는 VC 차원 경계로 불가능하다는 것을 보인다.
• 상전이를 증명한다: p = 1/ν는 연속 가중치 할당과 고정 깊이 아키텍처에서 달성 가능; p ∈ (1/ν, 2/ν]는 깊은 네트워크와 불연속 가중치를 필요로 한다.
• 두 스케일의 아키텍처를 구성한다: W^{1/ν} 개의 매듭으로 초기 보간을 만들고 두 번째, 특수 가중치로 인코딩된 이산 근사를 도입하여 p를 (1/ν, 2/ν]에 도달시키는 방식.
• p = 2/ν는 W로 고정된 너비의 좁은 완전 연결 아키텍처에서 깊이 L이 W에 비례해서 증가하는 경우 달성 가능하며, p ∈ (1/ν, 2/ν)도 중첩된 아키텍처를 통해 달성 가능하다.
• 두 번째 근사 단계를 실현하기 위해 비트 추출 기법과 두 스케일 확장을 활용한다.

실험 결과

연구 질문

• RQ1 ReLU 네트워크의 가중치 수 W의 함수로 [0,1]^ν의 연속함수를 근사하는 최적 속도는 무엇인가?
• RQ2 깊이 L과 가중치 연속성은 달성 가능한 속도에 어떤 영향을 미치며 p에 대한 속도에 위상이 존재하는가?
• RQ3 최적 속도를 실현하는 네트워크 아키텍처는 무엇이며 서로 다른 영역에서 필요한 깊이와 너비는 어떻게 되는가?
• RQ4 실현 가능하고 불가능한 속도를 구분하는 근본적인 상한이 존재하는가, 그리고 VC 차원 인자가 이러한 속도들을 어떻게 제약하는가?

주요 결과

• 근사 속도에 대해 모듈러스의 연속성과 가중치 수 W로 매개되는 완전한 위상 다이어그램이 존재한다.
• 가장 빠른 달성 속도는 O(ω_f(O(W^{-2/ν})))로, 깊이가 Wα의 거듭제곱 법칙으로 증가하고(0 < α ≤ 1) 불연속 가중치 할당이 필요하다.
• 상수 깊이의 네트워크와 연속 가중치 할당으로 달성 가능한 느리지만 실현 가능한 속도는 O(ω_f(O(W^{-1/ν})))이다.
• 두 가지 구별된 위상: 상수 깊이와 연속 가중치를 가지는 느린 위상과 깊은 네트워크와 불연속 가중치를 가지는 빠른 위상이다.
• 특히 깊이 L ~ W의 상수 너비 완전 연결 네트워크가 가장 빠른 속도를 달성하며 더 얕은 네트워크로는 이 속도를 달성할 수 없다.