[論文レビュー] The Connection Between Approximation, Depth Separation and Learnability in Neural Networks

Eran Malach, Gilad Yehudai+2 more|arXiv (Cornell University)|Jan 31, 2021

Domain Adaptation and Few-Shot Learning参考文献 32被引用数 4

ひとこと要約

この論文は、深層ニューラルネットワークにおける近似能力と学習可能性の根本的関係を確立し、勾配降下法や統計的クエリ（SQ）アルゴリズムによる効率的学習が、浅いネットワークやカーネルクラスなどの単純なモデルによる弱近似を要することを示している。主な結果は、このような単純なクラスによる弱近似が不可能な関数は、深層ネットワークで正確に表現可能であっても、効率的に学習できないということである。

ABSTRACT

Several recent works have shown separation results between deep neural networks, and hypothesis classes with inferior approximation capacity such as shallow networks or kernel classes. On the other hand, the fact that deep networks can efficiently express a target function does not mean that this target function can be learned efficiently by deep neural networks. In this work we study the intricate connection between learnability and approximation capacity. We show that learnability with deep networks of a target function depends on the ability of simpler classes to approximate the target. Specifically, we show that a necessary condition for a function to be learnable by gradient descent on deep neural networks is to be able to approximate the function, at least in a weak sense, with shallow neural networks. We also show that a class of functions can be learned by an efficient statistical query algorithm if and only if it can be approximated in a weak sense by some kernel class. We give several examples of functions which demonstrate depth separation, and conclude that they cannot be efficiently learned, even by a hypothesis class that can efficiently approximate them.

研究の動機と目的

• 深層ニューラルネットワークにおける近似能力と効率的学習可能性の関係を調査すること。
• 深さの分離が学習可能性を示すのか、あるいは効率的学習を妨げるのかを特定すること。
• 弱近似の概念を形式化し、勾配降下法およびSQアルゴリズムによる学習の必要性を示すこと。
• 既知の深さの分離関数（例：Telgarskyの三角関数、パリティ関数）を分析し、それらが効率的に学習できないことを証明すること。

提案手法

• 弱近似の概念を導入：仮説クラスがターゲット関数を、平均的にランダムな推測よりも良く近似する場合、そのクラスはターゲット関数を弱近似するという。
• 勾配降下法が、3層ネットワークによる弱近似が不可能な場合には、ターゲットクラスを効率的に学習できないことを証明する。
• 特徴の特徴づけを確立：任意の統計的クエリアルゴリズムによる学習可能性は、かつてはカーネルクラスによる弱近似が可能であることと同値である。
• 丸め技術と一般化誤差の境界を用いて、特定のアーキテクチャから一般の多項式サイズの2隠れ層ネットワークへの結果の拡張を行う。
• 既知の深さの分離関数（例：Telgarskyの関数、パリティ）を分析し、それらが浅いかつカーネルモデルによる弱近似に失敗することを示す。
• リプシッツ連続性と集中不等式を活用して一般化誤差をバウンドし、学習誤差の下界を導出する。

実験結果

リサーチクエスチョン

• RQ1 深層ネットワークで正確に表現可能な関数であっても、浅いネットワークによる弱近似が不可能な場合、勾配降下法による学習が不可能になるか？
• RQ2 統計的クエリアルゴリズムによる効率的学習の必要条件は何か？また、カーネル近似とはどのように関係するか？
• RQ3 深さの分離を示す既知の関数（例：Telgarskyの三角関数）は、深層ネットワークで表現可能であっても、効率的に学習できないのか？
• RQ4 ターゲット関数が完全に深いモデルで表現可能であっても、浅いかつカーネルクラスによる弱近似が、効率的学習の必要条件となるのか？
• RQ5 深層ネットワークにおける近似の強さと学習効率の間の定量的トレードオフは何か？

主な発見

• ターゲット関数が3層ニューラルネットワークによる弱近似が不可能な場合、勾配降下法による深層ネットワークでの学習は不可能である。
• 任意の統計的クエリアルゴリズムによる学習可能性は、かつてはカーネルクラスによる弱近似が可能であることと同値である。
• 深さの分離を示すTelgarskyの三角関数は、浅いネットワークによる弱近似に失敗するため、勾配降下法による効率的学習が不可能である。
• 深層ネットワークとカーネル法の間で分離を示すパリティ関数は、カーネルクラスによる弱近似が不可能であるため、効率的SQアルゴリズムによる学習が不可能である。
• 2層と3層ネットワークを分離する特定の関数は、浅いかつカーネルモデルによる弱近似が不可能であるため、任意のSQアルゴリズムによる学習が不可能であることが示された。
• 本論文は定量的境界を提供する：多項式サイズの2隠れ層ネットワークでは、学習誤差は少なくとも $1 - \frac{6\sqrt{k}R^{2}n^{5/6}}{d(n)^{1/18}}$ である。これは、弱近似が不十分な場合に学習誤差が高くなることを示している。