[논문 리뷰] Analysis of Deep Neural Networks with Quasi-optimal polynomial approximation rates

Joseph Daws, Clayton Webster|arXiv (Cornell University)|2019. 12. 04.

Neural Networks and Applications참고 문헌 15인용 수 4

한 줄 요약

이 논문은 다항식 기저 전개를 사용하여 고차원 함수에 대해 준최적의 근사율을 달성하는 딥 네ural 웹워크(DNN)를 구축한다. 정확한 계수 값 대신 다항식 계수에 대한 경계를 활용함으로써, M(항의 수)에 대해 지수보다 빠른 오차 감소율을 달성하고, M에 대해 다항식 복잡도를 갖는다. 이는 미세한 정규성 조건 하에서 최고의 M항 다항식 근사와 동일한 성능을 낸다.

ABSTRACT

We show the existence of a deep neural network capable of approximating a wide class of high-dimensional approximations. The construction of the proposed neural network is based on a quasi-optimal polynomial approximation. We show that this network achieves an error rate that is sub-exponential in the number of polynomial functions, $M$, used in the polynomial approximation. The complexity of the network which achieves this sub-exponential rate is shown to be algebraic in $M$.

연구 동기 및 목표

• 고차원 함수를 다항식 근사 이론에 기반하여 DNN로 근사할 수 있는 존재성을 확립함으로써, 준최적의 M항 다항식 근사와 동일한 오차율을 달성하고자 한다.
• 정확한 계수 값에 의존하지 않는 다항식 근사 이론에 기반한 DNN 구축을 위한 구축 방법을 개발하고자 한다.
• M(다항식 항의 수)에 대해 네트워크의 근사 오차와 계산 복잡도를 분석하고자 한다.
• 클래식한 근사 이론과 딥 러닝을 연결함으로써, DNN가 다항식 전개의 수렴 속도를 상속할 수 있음을 보여주고자 한다.

제안 방법

• 네트워크 아키텍처는 인덱스 집합 ΛM에서 정의된 다항식 기저 함수 Ψν의 개별 근사를 수행하는 서브넷워크들로 구성된다.
• 각 서브넷워크 Ũν는 가정 2에서 유도된 계수 추정치의 경계를 기반으로 한 구축 방법을 사용하여 텐서 곱 다항식 Ψν를 근사한다.
• 근사 오차는 삼각 부등식을 통해 제한된다: ||u - uNN|| ≤ ||u - uΛM|| + ||uΛM - uNN||. 첫 번째 항은 준최적의 다항식 근사 이론에 의해 제어된다.
• 각 서브넷워크 Ũν의 복잡도와 깊이를 계수 감쇠 함수 b(ν)에 대한 로그 추정치를 사용하여 제한함으로써, 전체 네트워크의 복잡도는 O(M^{2/d + 1})의 비율로 증가한다.
• 최종 네트워크 uNN은 M개의 이러한 서브넷워크를 조합하며, 각각의 출력을 더하는 최종 레이어를 사용한다.
• 이 구축은 계수 cν에 대한 균일한 경계 b(ν)에 의존하므로, 정확한 계수 계산이 필요 없이 오차 제어가 가능하다.

실험 결과

연구 질문

• RQ1 고차원 함수에 대해 준최적의 M항 다항식 근사와 동일한 근사 오차율을 달성할 수 있는 DNN를 구축할 수 있는가?
• RQ2 이러한 DNN의 계산 복잡도(깊이 및 크기)는 다항식 항의 수 M에 대해 어떻게 표현되는가?
• RQ3 다항식 계수의 감쇠율, 즉 b(ν)로 정량화된 바에 따라 네트워크의 오차는 어떻게 달라지는가?
• RQ4 정확한 다항식 계수 값이 없이도 네트워크를 구축할 수 있는가? 단지 계수의 경계만으로도 가능한가?
• RQ5 최종적으로 생성된 DNN는 기저 다항식 근사의 지수보다 빠른 수렴 속도를 상속하는가?

주요 결과

• 구축된 DNN는 M에 대해 지수보다 빠른 오차 감소율을 보이며, 준최적의 M항 다항식 근사와 동일한 최고의 수렴율을 달성한다.
• 네트워크의 총 복잡도는 O(M^{2/d + 1}) 비율로 증가하며, 이는 M에 대해 다항식 복잡도이므로 고차원성에도 불구하고 실용 가능성을 보장한다.
• 네트워크의 깊이는 O(M^{1/d} log M) 비율로 증가하며, 이는 다항식보다 느리고 중간 크기의 M에 대해 다룰 수 있다.
• 정확한 계수 값이 필요 없이 계수 cν에 대한 경계 b(ν)에 의존함으로써, 계수 계산이 어려운 문제에 적용 가능하다.
• 네트워크의 오차 경계는 삼각 부등식을 통해 유도되며, 첫 번째 항은 알려진 준최적의 다항식 근사 이론에 의해 제어되고, 두 번째 항은 서브넷워크 구축을 통해 제한된다.
• 이 구축은 완전히 명시적이다: 모든 네트워크 파라미터(가중치 및 편향)는 준최적의 인덱스 집합 ΛM과 계수 경계에 기반하여 정의된다.