[논문 리뷰] Depth-Width Tradeoffs in Approximating Natural Functions with Neural Networks

Itay Safran, Ohad Shamir|arXiv (Cornell University)|2016. 10. 31.

Advanced Numerical Analysis Techniques인용 수 94

한 줄 요약

이 논문은 ReLU 전방향 신경망을 사용하여 자연스러운 함수를 근사할 때 이론적으로 깊이-너비 상호보완성의 관계를 규명한다. 깊이가 더 깊은 네트워크는 단위 구와 타원, L1-반경 함수, 그리고 매끄러운 비선형성과 같은 특정 함수를 얕은 네트워크보다 지수적으로 낮은 너비로 근사할 수 있음을 보여준다. 3층 네트워크는 차원과 반복 정확도의 다항식 비례 너비로 이러한 함수를 고정밀도로 근사할 수 있으며, 반면 2층 네트워크는 표준 역전파 학습을 사용하더라도 지수적 너비가 필요하다.

ABSTRACT

We provide several new depth-based separation results for feed-forward neural networks, proving that various types of simple and natural functions can be better approximated using deeper networks than shallower ones, even if the shallower networks are much larger. This includes indicators of balls and ellipses; non-linear functions which are radial with respect to the $L_1$ norm; and smooth non-linear functions. We also show that these gaps can be observed experimentally: Increasing the depth indeed allows better learning than increasing width, when training neural networks to learn an indicator of a unit ball.

연구 동기 및 목표

• 자연스럽고 해석 가능한 함수를 사용하여 신경망의 깊이 기반 분리 결과를 이론적으로 확립하기 위해.
• 더 깊은 네트워크가 더 얕은 네트워크보다 훨씬 더 큰 경우조차도 특정 함수를 훨씬 낮은 너비로 근사할 수 있음을 보여주기 위해.
• 이러한 근사 갭이 단지 이론적인 것이 아니라 표준 학습 방법을 사용할 때 실제로 관측될 수 있음을 보여주기 위해.
• 실제 학습 과제에 관련된 함수를 중심으로 L2 근사 오차 측면에서 ReLU 네트워크의 표현 능력을 분석하기 위해.

제안 방법

• Eldan & Shamir (2016)의 결과를 환원하여, 2층 네트워크가 단위 구의 지표 함수나 타원체의 지표 함수를 O(1/d⁴) 이하의 정확도로 근사할 수 없으며, 이는 너비가 d에 대해 지수적으로 증가할 경우에만 가능함을 증명한다.
• ε-정확도로 임의의 L1-반경, 조각별 선형 함수를 정확히 표현하는 3층 ReLU 네트워크를 구성하며, 이는 O(d/ε)개의 뉴런을 필요로 한다.
• 깊이를 이용해 비트 추출과 복합 연산을 통해 곱셈을 시뮬레이션함으로써, 덧셈과 곱셈으로 구성된 함수의 효율적 근사를 가능하게 한다.
• 덧셈과 곱셈을 포함하는 t개의 연산으로 계산 가능한 함수에 대해 L∞ 근사 오차의 상한을 유도하며, 깊이와 너비가 log(1/ε)와 log(M)에 따라 어떻게 영향을 받는지 분석한다.
• 깊이 기반 상한과 너비 기반 하한을 조합하여 네트워크 크기 요구 사항에서 지수적 분리를 확립한다.
• 표준 역전파를 사용하여 2층과 3층 네트워크를 학습시켜 단위 구 지표 함수를 학습하는 실험적 검증을 수행하며, 이론적 예측을 확인한다.

실험 결과

연구 질문

• RQ1 더 깊은 ReLU 네트워크는 더 얕은 네트워크보다 자연스러운 함수를 훨씬 낮은 너비로 근사할 수 있는가?
• RQ2 표준 학습 알고리즘을 사용할 때 깊이와 얕이 네트워크 간의 근사 갭은 실제로 관측 가능한가?
• RQ3 2층 ReLU 네트워크가 단위 구 지표 함수를 높은 정확도로 근사하기 위해 필요한 최소 너비는 얼마인가?
• RQ4 합성적 구조(예: 합과 곱)를 가진 함수는 작은 너비와 깊이로 깊은 네트워크에 의해 효율적으로 근사될 수 있는가?
• RQ5 자연스러운 함수에 대해 얕은 네트워크의 근사 오차는 차원 d와 목표 정확도 ε에 따라 어떻게 변화하는가?

주요 결과

• R^d에서 유클리드 단위 구의 지표 함수는 너비가 d에 대해 지수적으로 증가하지 않는 한, 2층 ReLU 네트워크로는 O(1/d⁴) 이하의 정확도로는 근사할 수 없다.
• 임의의 타원체 지표 함수에 대해서도 동일한 지수적 너비 하한이 2층 네트워크에 적용되며, 반면 3층 네트워크는 O(d/ε)개의 뉴런으로 ε-정확도를 달성한다.
• 모든 L1-반경, 조각별 선형 함수 f(x) = f(||x||₁)는 너비가 Õ(min{1/ε, exp(Ω(d))}) 이하인 2층 ReLU 네트워크로는 ε-근사가 불가능하다.
• 깊은 네트워크에서는 다항로그(1/ε) 수준의 깊이와 너비로 근사 가능한 매끄럽고 두 번 미분 가능한 함수들(예: [0,1]에서 x²)은, 깊이가 일정한 네트워크로는 너비가 최소 다항식(1/ε) 이상이어야 ε-정확도로 근사될 수 있다.
• 실험적 학습 결과, 표준 역전파를 사용할 때 3층 네트워크는 단위 구 지표 함수를 효과적으로 학습하는 반면, 더 큰 2층 네트워크는 크게 어려움을 겪는다.
• 이론적 분석은 관측된 성능 격차가 최적화의 어려움이 아니라 근본적인 근사 한계 때문임을 확인한다.