[논문 리뷰] The gap between theory and practice in function approximation with deep neural networks

Ben Adcock, Nick Dexter|arXiv (Cornell University)|2020. 01. 16.

Sparse and Compressive Sensing Techniques참고 문헌 86인용 수 12

한 줄 요약

이 논문은 함수 근사에서 깊이 있는 신경망(DNN)의 이론적 보장과 실용적 성능 간의 괴리성을 조사한다. 매끄럽고 조각별로 매끄러운 함수에 대해 DNN을 평가할 수 있는 계산 프레임워크를 제안하며, 이는 강력한 이론적 근사율에도 불구하고 DNN이 매끄러운 함수에서 성능이 열등함을 드러내지만, 다른 클래스에서는 압축 감지와 같은 전통적 방법을 능가함을 보여준다. 실용적 존재 정리에 따르면 DNN이 최고 수준의 방법과 동일한 성능을 달성할 수 있음을 증명하며, 이는 향후 아키텍처 및 훈련 전략의 개선으로 이론과 실천의 격차를 좁힐 잠재력이 있음을 시사한다.

ABSTRACT

Deep learning (DL) is transforming industry as decision-making processes are being automated by deep neural networks (DNNs) trained on real-world data. Driven partly by rapidly-expanding literature on DNN approximation theory showing they can approximate a rich variety of functions, such tools are increasingly being considered for problems in scientific computing. Yet, unlike traditional algorithms in this field, little is known about DNNs from the principles of numerical analysis, e.g., stability, accuracy, computational efficiency and sample complexity. In this paper we introduce a computational framework for examining DNNs in practice, and use it to study empirical performance with regard to these issues. We study performance of DNNs of different widths & depths on test functions in various dimensions, including smooth and piecewise smooth functions. We also compare DL against best-in-class methods for smooth function approx. based on compressed sensing (CS). Our main conclusion from these experiments is that there is a crucial gap between the approximation theory of DNNs and their practical performance, with trained DNNs performing relatively poorly on functions for which there are strong approximation results (e.g. smooth functions), yet performing well in comparison to best-in-class methods for other functions. To analyze this gap further, we provide some theoretical insights. We establish a practical existence theorem, asserting existence of a DNN architecture and training procedure that offers the same performance as CS. This establishes a key theoretical benchmark, showing the gap can be closed, albeit via a strategy guaranteed to perform as well as, but no better than, current best-in-class schemes. Nevertheless, it demonstrates the promise of practical DNN approx., by highlighting potential for better schemes through careful design of DNN architectures and training strategies.

연구 동기 및 목표

• 깊이 있는 신경망(DNN)의 함수 근사에서 이론적 근사 보장과 실증적 성능 간의 괴리성을 조사하는 것.
• 매끄럽고 조각별로 매끄러운 함수를 포함한 다양한 함수 클래스에서 DNN의 아키텍처, 너비, 깊이에 따른 실용적 성능을 평가하는 것.
• 정확도, 안정성, 샘플 복잡도, 계산 효율성 측면에서 DNN을 압축 감지와 같은 최고 수준의 방법과 비교하는 것.
• DNN이 전통적 방법과 동일하거나 이를 초월하는 성능을 달성할 수 있음을 보여주는 이론적 기준을 수립하여, 이론과 실천의 격차를 줄일 수 있는 DNN 설계의 잠재력을 규명하는 것.
• DNN 아키텍처와 훈련 절차가 압축 감지의 성능을 따라잡을 수 있음을 보여주는 실용적 존재 정리를 제공하는 것.

제안 방법

• 다양한 차원에서 매끄럽고 조각별로 매끄러운 함수에 대해 DNN을 체계적으로 평가할 수 있는 계산 프레임워크를 개발하였다.
• 다양한 너비와 깊이의 DNN을 압축 감지와 대조하여 구현하고 비교하였다. 압축 감지는 매끄러운 함수 근사에서 최고 수준의 방법이다.
• 정규화된 최적화 문제를 사용해 DNN을 훈련시켰다: $ \norm{\bm{z}}_{1,\bm{u}} + \nu \norm{\bm{A'}\bm{z} - \bm{f}}_2 $, 여기서 $ \bm{A'} $는 제어 가능한 오차 $ \norm{\bm{A} - \bm{A}'}_2 \rightarrow 0 $ 를 갖는 진짜 측정 행렬 $ \bm{A} $ 를 근사한다.
• 특히 강건한 영공간 성질(rNSP)을 포함한 압축 감지 이론의 결과를 활용해 DNN 근사의 안정성과 오차 한계를 분석하였다.
• 근사 오차에 대한 이론적 한계를 설정하였으며, $ \norm{f - \tilde{\bm{\theta}}}_{L^\frown(\frown)} \rightarrow C \text{exp}(-\tilde{\frown} s^{1/d}) $ 로 표현되며, 여기서 $ s $ 는 희소성, $ d $ 는 차원이다.
• DNN 아키텍처 $ \tilde{\bm{\theta}} $ 의 깊이 및 크기의 경계를 유도하였으며, $ \text{depth}(\tilde{\bm{\theta}}) \rightarrow c'(1 + d\text{log}(d))(1 + \text{log}(s))(s + \text{log}(n) + \tilde{\frown} s^{1/d}) $ 와 $ \text{size}(\tilde{\bm{\theta}}) \rightarrow c'(d^2s^2 + (ds + d^2n)(1 + \text{log}(s) + \text{log}(n) + \tilde{\frown} s^{1/d})) $ 를 각각 도출하였다.

실험 결과

연구 질문

• RQ1 강력한 이론적 근사 보장이 있음에도 불구하고 DNN이 왜 매끄러운 함수에서 성능이 열등한가?
• RQ2 함수 근사 과제에서 DNN의 성능은 압축 감지와 같은 최고 수준의 방법과 비교해 어떻게 되는가?
• RQ3 근사 오차 측면에서 압축 감지의 성능을 따라잡을 수 있는 DNN 아키텍처와 훈련 절차를 구성할 수 있는가?
• RQ4 함수 근사에 대해 DNN의 깊이, 크기, 근사 오차에 대해 어떤 이론적 경계를 설정할 수 있는가?
• RQ5 아키텍처 및 훈련 개선을 통해 DNN 기반 함수 근사에서 이론과 실천의 격차는 어느 정도 좁힐 수 있는가?

주요 결과

• DNN은 이론적 근사율에 비해 강력한 보장을 지니고 있음에도 불구하고 매끄러운 함수에서 심각한 성능 격차를 보이며, 이는 이론적 기대에 못 미친다.
• 조각별로 매끄럽고 비매끄러운 함수에서는 DNN이 압축 감지와 같은 최고 수준의 방법을 능가함을 보여주며, 이는 함수 클래스에 따라 이론과 실천 간의 괴리가 발생함을 시사한다.
• 실용적 존재 정리를 확립하여, 압축 감지의 성능을 따라잡는 DNN 아키텍처와 훈련 절차가 존재함을 증명하였다.
• 근사 오차 경계는 $ \norm{f - \tilde{\bm{\theta}}}_{L^\frown(\frown)} \rightarrow C \text{exp}(-\tilde{\frown} s^{1/d}) $ 로 표현되며, 여기서 $ s $ 는 희소성, $ d $ 는 차원이다. 이는 희소성 파라미터에 대해 지수적 수렴을 보여준다.
• DNN의 깊이 및 크기는 각각 $ \text{depth}(\tilde{\bm{\theta}}) \rightarrow c'(1 + d\text{log}(d))(1 + \text{log}(s))(s + \text{log}(n) + \tilde{\frown} s^{1/d}) $ 와 $ \text{size}(\tilde{\bm{\theta}}) \rightarrow c'(d^2s^2 + (ds + d^2n)(1 + \text{log}(s) + \text{log}(n) + \tilde{\frown} s^{1/d})) $ 로 경계되며, 이는 통합 상수 $ c' $ 에 대해 성립한다.
• 이론적 분석은 DNN 아키텍처와 훈련을 철저히 설계함으로써 이론과 실천의 격차를 좁힐 수 있음을 확인하였으며, 이는 DNN이 함수 근사에서 최적 성능을 달성할 잠재력을 보여준다.