[논문 리뷰] Can stable and accurate neural networks be computed? - On the barriers of deep learning and Smale's 18th problem.

Vegard Antun, Matthew J. Colbrook외 1명|arXiv (Cornell University)|2021. 01. 20.

Stochastic Gradient Optimization Techniques참고 문헌 136인용 수 24

한 줄 요약

이 논문은 딥러닝의 근본적 역설을 해결한다. 이는 이론적으로 안정적이고 정확한 신경망이 존재하지만, 특정 잘 조절된 과학 계산 문제에서는 어떤 알고리즘—결정론적 또는 확률적일지라도 이를 신뢰성 있게 계산할 수 없다는 점을 증명하기 때문이다. 이 논문은 역문제에 대해 ε-정확도 해를 구하기 위해 O(|log(ε)|) 층만을 필요로 하는 증명 가능한 안정성 구조인 FIRENET을 도입한다.

ABSTRACT

Deep learning (DL) has had unprecedented success and is now entering scientific computing with full force. However, current DL methods typically suffer from instability, even when universal approximation properties guarantee the existence of stable neural networks (NNs). We address this paradox by demonstrating basic well-conditioned problems in scientific computing where one can prove the existence of NNs with great approximation qualities, however, there does not exist any algorithm, even randomised, that can train (or compute) such a NN. For any positive integers $K > 2$ and $L$, there are cases where simultaneously: (a) no randomised training algorithm can compute a NN correct to $K$ digits with probability greater than $1/2$, (b) there exists a deterministic training algorithm that computes a NN with $K-1$ correct digits, but any such (even randomised) algorithm needs arbitrarily many training data, (c) there exists a deterministic training algorithm that computes a NN with $K-2$ correct digits using no more than $L$ training samples. These results imply a classification theory describing conditions under which (stable) NNs with a given accuracy can be computed by an algorithm. We begin this theory by establishing sufficient conditions for the existence of algorithms that compute stable NNs in inverse problems. We introduce Fast Iterative REstarted NETworks (FIRENETs), which we both prove and numerically verify are stable. Moreover, we prove that only $\mathcal{O}(|\log(\epsilon)|)$ layers are needed for an $\epsilon$-accurate solution to the inverse problem.

연구 동기 및 목표

• 이론적으로 안정적이고 정확한 신경망이 존재하는 반면 실무에서는 어떤 알고리즘으로도 이를 계산할 수 없는 이론적 존재와 실무적 불가능성 사이의 역설을 해결하기.
• 주어진 정확도를 갖는 안정적 신경망을 알고리즘적으로 계산할 수 있는 이론적 조건을 설정하기.
• 역문제에서 안정적 신경망의 계산 가능성에 대한 분류 이론을 수립하기.
• 역문제에 적합한 새로운 신경망 아키텍처인 FIRENET을 설계하고 안정성을 증명하기.
• 신경망 계산에서 보장된 정확도를 달성하기 위해 필요한 최소한의 학습 샘플 수와 네트워크 깊이를 정량화하기.

제안 방법

• 모든 K > 2 및 L에 대해, 어떤 확률적 알고리즘도 K자리 정밀도로 신경망을 1/2 이상의 확률로 정확히 계산할 수 없는 문제가 존재함을 증명한다.
• 결정론적 알고리즘이 K−1자리 정밀도의 신경망을 계산할 수는 있지만, 이를 위해 임의로 많은 학습 샘플이 필요함을 보여준다.
• K−2자리 정밀도의 신경망은 결정론적 알고리즘을 사용해 최대 L개의 학습 샘플로도 계산할 수 있음을 보여준다.
• 반복 임계값 방법에 영감을 얻은 새로운 아키텍처인 Fast Iterative REstarted NETworks(FIRENETs)를 도입한다.
• FIRENET이 ε-정확도 해를 O(|log(ε)|) 층만으로도 역문제에 대해 달성함을 증명한다.
• 이론적 분석과 수치적 검증을 결합하여 FIRENET의 안정성과 수렴성을 확인한다.

실험 결과

연구 질문

• RQ1 특정 잘 조절된 과학 계산 문제에 대해, 어떤 알고리즘—결정론적 또는 확률적일지라도 안정적이고 정확한 신경망을 계산할 수 있는가?
• RQ2 역문제에서 안정적 신경망을 계산할 수 있는 알고리즘의 존재에 필요한 필수 조건과 충분 조건은 무엇인가?
• RQ3 신경망 계산에서 주어진 정확도 수준을 보장하기 위해 필요한 학습 샘플 수는 몇 개인가?
• RQ4 역문제에 대해 원하는 정확도에 따라 깊이가 로그 스케일로 증가하는 신경망 아키텍처를 설계할 수 있는가?
• RQ5 딥러닝의 근본적 장벽이 이론적으로 존재하는 안정적 네트워크를 계산할 수 없기 때문에 발생하는가?

주요 결과

• 모든 K > 2에 대해, 어떤 확률적 알고리즘도 K자리 정밀도로 신경망을 1/2 초과의 확률로 정확히 계산할 수 없는 잘 조절된 역문제가 존재한다.
• 동일한 문제들에 대해 결정론적 알고리즘은 K−1자리 정밀도의 신경망을 계산할 수는 있지만, 이를 위해 임의로 많은 학습 샘플이 필요하다.
• K−2자리 정밀도의 신경망은 문제 크기와 관계없이 최대 L개의 학습 샘플로 결정론적 알고리즘을 통해 계산할 수 있다.
• FIRENET은 ε-정확도 해를 O(|log(ε)|) 층만으로도 안정적으로 달성함을 증명하였다.
• 수치 실험을 통해 FIRENET의 이론적 안정성과 수렴 성질이 확인되었다.
• 이 논문은 역문제에서 안정적 신경망의 계산 가능성에 대한 기초적인 분류 이론을 수립하였다.