[論文レビュー] Can stable and accurate neural networks be computed? - On the barriers of deep learning and Smale's 18th problem.

Vegard Antun, Matthew J. Colbrook+1 more|arXiv (Cornell University)|Jan 20, 2021

Stochastic Gradient Optimization Techniques参考文献 136被引用数 24

ひとこと要約

この論文は、理論的には安定で正確なニューラルネットワークが存在するにもかかわらず、特定の良好に条件付けられた科学計算問題において、決定的または確率的アルゴリズムのいかなるものでもそれらを信頼性高く計算できないという、深層学習における根本的なパラドックスを解決する。本論文は、逆問題に対するε-精度解を得るためにO(|log(ε)|)層で十分である、証明可能に安定なアーキテクチャであるFIRENETを導入する。

ABSTRACT

Deep learning (DL) has had unprecedented success and is now entering scientific computing with full force. However, current DL methods typically suffer from instability, even when universal approximation properties guarantee the existence of stable neural networks (NNs). We address this paradox by demonstrating basic well-conditioned problems in scientific computing where one can prove the existence of NNs with great approximation qualities, however, there does not exist any algorithm, even randomised, that can train (or compute) such a NN. For any positive integers $K > 2$ and $L$, there are cases where simultaneously: (a) no randomised training algorithm can compute a NN correct to $K$ digits with probability greater than $1/2$, (b) there exists a deterministic training algorithm that computes a NN with $K-1$ correct digits, but any such (even randomised) algorithm needs arbitrarily many training data, (c) there exists a deterministic training algorithm that computes a NN with $K-2$ correct digits using no more than $L$ training samples. These results imply a classification theory describing conditions under which (stable) NNs with a given accuracy can be computed by an algorithm. We begin this theory by establishing sufficient conditions for the existence of algorithms that compute stable NNs in inverse problems. We introduce Fast Iterative REstarted NETworks (FIRENETs), which we both prove and numerically verify are stable. Moreover, we prove that only $\mathcal{O}(|\log(\epsilon)|)$ layers are needed for an $\epsilon$-accurate solution to the inverse problem.

研究の動機と目的

• 理論的には安定で正確なニューラルネットワークが存在する一方で、実際の応用ではいかなるアルゴリズム（決定的または確率的）でもそれらを計算できないというパラドックスを解消すること。
• 与えられた精度を持つ安定なニューラルネットワークをアルゴリズム的に計算可能な理論的条件を確立すること。
• 逆問題における安定なニューラルネットワークの計算可能性に関する分類理論を構築すること。
• 逆問題に適した新しいニューラルネットワークアーキテクチャ、FIRENETの設計および安定性の証明を行うこと。
• ニューラルネットワーク計算における保証された精度を達成するために必要な最小のトレーニングサンプル数とネットワークの深さを定量化すること。

提案手法

• 任意のK > 2およびLに対して、どの確率的アルゴリズムでもK桁の正確さでニューラルネットワークを確率1/2より大きく正しく計算できる問題が存在することを証明する。
• 決定的アルゴリズムはK−1桁の正確さを持つネットワークを計算可能であるが、それには任意に多くのトレーニングサンプルが必要であることの証明を行う。
• K−2桁の正確さを持つネットワークは、決定的アルゴリズムを用いて、最大L個のトレーニングサンプルで計算可能であることを示す。
• 反復しきい値法にインspiredされた、新しいアーキテクチャであるFast Iterative REstarted NETworks（FIRENETs）を導入する。
• FIRENETsがε-精度解をO(|log(ε)|)層のみで達成できることを証明する。
• 理論的分析と数値的検証を組み合わせ、FIRENETsの安定性と収束性を確認する。

実験結果

リサーチクエスチョン

• RQ1 特定の良好に条件付けられた科学計算問題において、安定で正確なニューラルネットワークを、確率的アルゴリズムですら計算可能かどうか。
• RQ2 逆問題において安定なニューラルネットワークを計算可能なアルゴリズムが存在するための必要十分条件は何か。
• RQ3 ニューラルネットワーク計算における所定の精度を保証するために必要なトレーニングサンプル数はどの程度か。
• RQ4 逆問題において、必要な精度に応じて深さが対数的にスケーリングされるようなニューラルネットワークアーキテクチャを設計可能かどうか。
• RQ5 深層学習における根本的障壁が、理論的には存在するが計算不能な安定ネットワークゆえに生じるものであるとすれば、その程度はどの程度か。

主な発見

• 任意のK > 2に対して、どの確率的アルゴリズムでもK桁の正確さでニューラルネットワークを計算できる確率が1/2を超えない、良好に条件付けられた逆問題が存在する。
• 同じ問題に対して、決定的アルゴリズムはK−1桁の正確さを持つネットワークを計算可能であるが、それには任意に大きなトレーニングサンプル数が必要である。
• K−2桁の正確さを持つネットワークは、問題のサイズにかかわらず、最大L個のトレーニングサンプルを用いた決定的アルゴリズムで計算可能である。
• FIRENETsは、ε-精度解をO(|log(ε)|)層のみで達成できることを証明済みであり、安定である。
• 数値実験により、FIRENETsの理論的安定性および収束性が確認された。
• 本論文は、逆問題における安定なニューラルネットワークの計算可能性に関する基礎的分類理論を確立した。