[논문 리뷰] Proof of the Theory-to-Practice Gap in Deep Learning via Sampling Complexity bounds for Neural Network Approximation Spaces

Philipp Grohs, Felix Voigtlaender|arXiv (Cornell University)|2021. 04. 06.

Stochastic Gradient Optimization Techniques인용 수 5

한 줄 요약

이 논문은 신경망 근사 공간에 대한 샘플링 복잡도 하한을 확립하여 딥러닝에서 이론과 실천 사이의 격차가 존재한다는 것을 증명한다. 이는 신경망이 이론적으로는 높은 수렴률로 함수를 근사할 수 있지만, 확률적 경사하강법과 같은 실용적 알고리즘이 이러한 수렴률을 달성할 수 없음을 보여주며, 오랫동안 관찰되어 온 경험적 불일치를 확인한다.

ABSTRACT

We study the computational complexity of (deterministic or randomized) algorithms based on point samples for approximating or integrating functions that can be well approximated by neural networks. Such algorithms (most prominently stochastic gradient descent and its variants) are used extensively in the field of deep learning. One of the most important problems in this field concerns the question of whether it is possible to realize theoretically provable neural network approximation rates by such algorithms. We answer this question in the negative by proving hardness results for the problems of approximation and integration on a novel class of neural network approximation spaces. In particular, our results confirm a conjectured and empirically observed theory-to-practice gap in deep learning. We complement our hardness results by showing that approximation rates of a comparable order of convergence are (at least theoretically) achievable.

연구 동기 및 목표

• 이론적으로 증명 가능한 신경망 근사 수렴률이 점수 샘플 기반 실용적 알고리즘에 의해 달성될 수 있는지 조사하기 위해.
• 표준 최적화 알고리즘이 이론적 수렴률을 달성하지 못하는 상황에서 딥러닝의 이론-실천 격차 존재를 공식적으로 입증하기 위해.
• 네트워크 깊이, 가중치 크기, 근사 오차 감쇠에 대한 제약 조건을 포함하는 새로운 유형의 신경망 근사 공간을 도입하기 위해.
• 이러한 공간에서 근사 및 통합 작업에 대한 샘플링 복잡도 하한을 유도하여 근본적인 알고리즘적 제약 조건을 보여주기 위해.
• 신경망의 뛰어난 이론적 표현 능력과 최적화 알고리즘의 실용적 비효율성 사이의 격차를 해소하기 위해.

제안 방법

• 저자들은 깊이 $ \boldsymbol{\nu} $, 가중치 크기 $ \boldsymbol{c} $, 그리고 $ L^p $-노름 오차를 포함하여 네트워크 크가 증가함에 따라 근사 오차가 얼마나 빠르게 감소하는지에 따라 함수를 특성화하는 신경망 근사 공간 $ A^{\beta,p}_{\boldsymbol{\nu},\boldsymbol{c}}([0,1]^d) $ 를 정의한다.
• 이 공간에 속하는 함수의 근사 또는 통합을 위해 점 샘플을 사용하는 결정론적 및 확률적 알고리즘의 샘플링 복잡도를 분석한다.
• 변분 및 최소최대 기법을 사용하여 주어진 근사 정확도를 달성하기 위해 필요한 샘플 수의 하한을 유도하며, 이는 표준 확률적 최적화보다 더 빠르게 증가하는 것을 보여준다.
• 특정 테스트 함수를 구성하고 이중성 원리를 사용하여 알고리즘의 오차를 샘플 수와 함수의 매끄러움 및 네트워크 복잡도에 따라 경계짓는다.
• 핵심 부등식과 매개변수 $ \theta, \theta_0, \theta^* $ 에 대한 최적화를 통해 최상의 수렴률에 대한 날카로운 하한을 도출하며, 주요 난이도 결과에 이를 이르는 바이다.
• 증명은 근사 공간의 단위 구내에 속하는 함수의 가족을 구성하고, 이론적 수렴률을 달성하기 위해 비현실적인 수의 샘플이 필요하다는 것을 보여줌으로써 기반한다.

실험 결과

연구 질문

• RQ1 딥러닝 신경망의 이론적으로 최적의 근사 수렴률이 점수 샘플 기반 실용적 알고리즘에 의해 달성될 수 있는가?
• RQ2 신경망 근사 공간에서 함수를 근사하거나 통합하기 위해 필요한 근본적인 샘플링 복잡도는 무엇인가?
• RQ3 왜 일반적인 딥러닝 최적화 알고리즘이 함수 공간 분석에 의해 예측된 이론적 근사 수렴률을 달성하지 못하는가?
• RQ4 네트워크 깊이 및 가중치 크기 제약 조건이 실생활에서 이론적 근사 수렴률을 달성하는 데 얼마나 영향을 미치는가?
• RQ5 신경망의 이론적 근사 능력과 최적화 알고리즘의 실용적 성능 사이에 증명 가능한 격차가 존재하는가?

주요 결과

• 논문은 딥러닝에서 증명 가능한 이론-실천 격차 존재를 입증한다: 신경망이 어떤 함수를 이론적으로 고속도로 근사할 수는 있지만, 점 샘플을 사용하는 어떤 결정론적 또는 확률적 알고리즘도 이러한 수렴률을 달성할 수 없다.
• 신경망 근사 공간에서 근사 및 통합 작업에 대한 샘플링 복잡도 하한이 도출되었으며, 이는 표준 확률적 최적화로는 실현 가능하지 않은 수준으로 샘플 수가 증가함을 보여준다.
• $ A^{\beta,p}_{\boldsymbol{\nu},\boldsymbol{c}}([0,1]^d) $ 의 단위 구 내에 속하는 함수에 대해 최고로 달성 가능한 수렴률은 $ n^{-\beta} $ 이하로 경계되며, 이 수렴률은 $ n $ 개의 샘플을 사용하는 어떤 알고리즘으로도 달성될 수 없다.
• 매끄러움 $ \beta $, 네트워크 깊이 $ \boldsymbol{\nu} $, 가중치 제약 조건 $ \boldsymbol{c} $ 간의 상호작용을 새로운 방식으로 분석함으로써 디지털 난이도 결과가 도출되었으며, 이 제약 조건들이 알고리즘 성능을 근본적으로 제한한다는 것을 보여준다.
• 이론적으로는 동일한 순서의 근사 수렴률이 달성 가능하나, 표준 딥러닝 알고리즘을 통해 접근할 수 없음을 보여주며, 이는 이론-실천 격차의 경험적 관찰을 확인한다.
• 매개변수 $ \theta, \theta_0, \theta^* $ 를 포함하는 함수의 최소값의 최대값의 하한에 대한 날카로운 경계를 통해 결과가 체계화되었으며, 주어진 제약 조건 하에서 달성 가능한 최소 수렴률에 대한 명시적 표현이 도출되었다.