[論文レビュー] Poly-time universality and limitations of deep learning

Emmanuel Abbé, Colin Sandon|arXiv (Cornell University)|Jan 7, 2020

Machine Learning and Algorithms参考文献 37被引用数 9

ひとこと要約

この論文は、確率的勾配降下法（SGD）に基づく深層学習が、多項式時間で学習可能な任意の関数分布を普遍的に効率的に行えることを確立している。具体的には、SGDで訓練された多項式サイズのニューラルネットワークが、そのようなアルゴリズムをエミュレートできることを示している。これに対して、フルバッチ勾配降下法（GD）や統計的クエリアルゴリズムは、パリティなど低交叉予測可能性を示す関数分布に対して失敗し、最適化の普遍性においてSGDとGDの根本的な分離が示された。

ABSTRACT

The goal of this paper is to characterize function distributions that deep learning can or cannot learn in poly-time. A universality result is proved for SGD-based deep learning and a non-universality result is proved for GD-based deep learning; this also gives a separation between SGD-based deep learning and statistical query algorithms: (1) {\it Deep learning with SGD is efficiently universal.} Any function distribution that can be learned from samples in poly-time can also be learned by a poly-size neural net trained with SGD on a poly-time initialization with poly-steps, poly-rate and possibly poly-noise. Therefore deep learning provides a universal learning paradigm: it was known that the approximation and estimation errors could be controlled with poly-size neural nets, using ERM that is NP-hard; this new result shows that the optimization error can also be controlled with SGD in poly-time. The picture changes for GD with large enough batches: (2) {\it Result (1) does not hold for GD:} Neural nets of poly-size trained with GD (full gradients or large enough batches) on any initialization with poly-steps, poly-range and at least poly-noise cannot learn any function distribution that has super-polynomial {\it cross-predictability,} where the cross-predictability gives a measure of ``average'' function correlation -- relations and distinctions to the statistical dimension are discussed. In particular, GD with these constraints can learn efficiently monomials of degree $k$ if and only if $k$ is constant. Thus (1) and (2) point to an interesting contrast: SGD is universal even with some poly-noise while full GD or SQ algorithms are not (e.g., parities).

研究の動機と目的

• 多項式時間で学習可能な関数分布は、どのようなものかを特定すること。
• SGDに基づく学習が、効率的に学習可能な関数の普遍的学習枠組みを提供するかどうかを調査すること。
• GDに基づく学習の限界と、統計的クエリアルゴリズムとの分離を同定すること。
• ノイズと勾配更新の影響が、深層学習の普遍性に与える影響を分析すること。

提案手法

• 著者らは、特定の初期化と学習率を用いたノイズ付きSGDを用いて、任意の多項式時間学習アルゴリズムをエミュレートできる多項式サイズのニューラルネットワークを構築した。
• 彼らは、区別不能性と逐次学習アルゴリズム（SLA）技術を活用することで、SGDが超多項式の交叉予測可能性を持つ任意の関数分布を学習できることを証明した。
• この手法では、トレーニング中に関連する重みのみが更新されるように制御機構を用いることで、安定性を保ちながらアルゴリズム的手順のエミュレーションを可能にした。
• ノイズのロバストネスは、勾配と重みに多項式ノイズを導入することで分析され、このような摂動下でも普遍性が保たれることを示した。
• 理論的分析は、ニューラルネットワークによる任意のアルゴリズムのエミュレーションに依存しており、更新ダイナミクスを制御するためのエッジ重みの慎重な初期化が行われた。
• 重要な要素として、微分に基づく重み更新の制御を可能にする活性化関数の使用があり、トレーニング中に意図したエッジのみが変化することを保証した。

実験結果

リサーチクエスチョン

• RQ1 SGDに基づく深層学習は、多項式時間で効率的に学習可能な任意の関数分布を学習できるか？
• RQ2 大規模バッチのフルバッチ勾配降下法（GD）も、多項式時間学習において普遍性を達成するのか？
• RQ3 交叉予測可能性は、GDや統計的クエリアルゴリズムにおける関数クラスの学習可能性を決定づける要因として果たす役割は何か？
• RQ4 勾配と重み更新におけるノイズが、SGDに基づく学習の普遍性に与える影響は何か？
• RQ5 メモリ制約や部分的重み更新（例：座標降下法）の下でも、同じ普遍性の結果が達成可能か？

主な発見

• SGDに基づく深層学習は多項式時間普遍的である：多項式時間で学習可能な任意の関数分布は、多項式サイズのニューラルネットワークを、多項式時間の初期化、多項式ステップ、多項式ノイズを用いたSGDで訓練することで学習可能である。
• 勾配と重みに多項式ノイズが加えられても、普遍性の結果は保持され、ノイズに対してロバストであることが示された。
• フルバッチ勾配降下法（GD）または大規模バッチのGDは、超多項式の交叉予測可能性を持つ関数分布（例：パリティや高次多項式）を学習できない。
• 次数$k$の多項式に関しては、GDは$k$が定数である場合にのみ効率的に学習可能であり、これは明確な制限を示している。
• 本論文は、SGDに基づく深層学習と統計的クエリ（SQ）アルゴリズムとの間で分離を確立した。SQアルゴリズムは、ノイズ下でも同様の関数クラスを処理できない。
• ノイズレベルが閾値を超えると、ノイズや更新頻度の低下（例：座標降下法）の下でもSGDは普遍性を維持できず、ノイズと学習可能性の間にはトレードオフがあることが示された。