[논문 리뷰] Optimal Function Approximation with Relu Neural Networks

Bo Liu, Yi Liang|arXiv (Cornell University)|2019. 09. 09.

Advanced Numerical Analysis Techniques참고 문헌 26인용 수 5

한 줄 요약

이 논문은 피드포워드 ReLU 신경망을 사용한 볼록 단변수 함수의 최적 근사에 대한 이론적 기초를 수립한다. 최적성에 필요한 필수 조건과 충분 조건을 도출하고, 근사 오차에 대한 날카운 경계를 제시하며, 특수한 네트워크 아키텍처를 설계하고, 주어진 선형 세그먼트 수에 대해 최소 오차를 갖는 최적의 조각별 선형 근사를 계산하기 위한 수렴하는 알고리즘을 제안한다.

ABSTRACT

We consider in this paper the optimal approximations of convex univariate functions with feed-forward Relu neural networks. We are interested in the following question: what is the minimal approximation error given the number of approximating linear pieces? We establish the necessary and sufficient conditions and uniqueness of optimal approximations, and give lower and upper bounds of the optimal approximation errors. Relu neural network architectures are then presented to generate these optimal approximations. Finally, we propose an algorithm to find the optimal approximations, as well as prove its convergence and validate it with experimental results.

연구 동기 및 목표

• 고정된 선형 조각 수를 가진 ReLU 신경망을 사용할 때 볼록 단변수 함수를 근사할 수 있는 최소 오차를 결정하는 것.
• 해당 근사의 유일성과 최적성에 필요한 필수 조건과 충분 조건을 설정하는 것.
• 최적 근사 오차에 대한 이론적 하한과 상한을 도출하는 것.
• 이러한 최적 근사를 실현하는 ReLU 신경망 아키텍처를 설계하는 것.
• 최적의 조각별 선형 근사를 계산하기 위한 알고리즘의 수렴성을 개발하고 증명하는 것.

제안 방법

• ReLU 네트워크를 사용한 최적의 조각별 선형 근사의 구조를 특성화하기 위해 볼록 단변수 함수의 이론적 분석.
• 네트워크 내 선형 세그먼트의 수에 기반한 근사 오차의 하한과 상한을 도출.
• 유도된 최적 오차 경계를 달성하는 ReLU 신경망 아키텍처의 구축.
• 조각별 선형 근사의 최적의 브레이크포인트와 가중치를 계산하기 위한 반복 알고리즘 설계.
• 제안된 알고리즘의 수렴성에 대한 이론적 프레임워크 내 증명.
• 시험 함수에 대한 실험 결과를 통한 알고리즘 유효성 검증.

실험 결과

연구 질문

• RQ1 지정된 수의 선형 조각을 가진 ReLU 신경망을 사용하여 볼록 단변수 함수를 근사할 때 도달 가능한 최소 근사 오차는 무엇인가?
• RQ2 최적 근사가 유일해지는 조건는 무엇이며, 어떻게 특성화할 수 있는가?
• RQ3 이러한 네트워크에 대한 가장 날카운 이론적 하한과 상한은 무엇인가?
• RQ4 어떻게 하면 ReLU 신경망 아키텍처를 체계적으로 설계하여 최적의 근사 성능을 달성할 수 있는가?
• RQ5 제안된 알고리즘이 최적 해로 수렴하는가? 실질적으로는 어떻게 성능을 발휘하는가?

주요 결과

• 논문은 ReLU 네트워크를 사용한 볼록 단변수 함수의 조각별 선형 근사에 대한 유일성과 최적성에 필요한 필수 조건과 충분 조건을 수립한다.
• 선형 세그먼트의 수에 따라 달라지는 최적 근사 오차에 대한 날카운 하한과 상한이 도출된다.
• 이론적으로 최적 오차 경계를 달성하는 전용 ReLU 신경망 아키텍처가 구축된다.
• 제안된 알고리즘이 최적 근사로 수렴함을 실험 결과를 통해 검증한다.
• 이론적 오차 경계가 渐近적으로 날카로움을 입증함으로써 구성된 근사의 최적성을 확인한다.
• 이 방법은 볼록 단변수 함수의 최적 근사에 대해 최소 깊이의 ReLU 네트워크를 설계하는 원칙적인 방법을 제공한다.