[論文レビュー] Can SGD Learn Recurrent Neural Networks with Provable Generalization?

Zeyuan Allen-Zhu, Yuanzhi Li|arXiv (Cornell University)|Feb 4, 2019

Machine Learning and Algorithms参考文献 32被引用数 13

ひとこと要約

この論文は、確率的勾配降下法（SGD）が、各出力トークンが以前の入力トークンから滑らかな2層ニューラルネットワークを介して生成されるような系列関数のクラスにおいて、ReLU活性化関数を用いた再帰的ニューラルネットワーク（RNN）を、証明可能な良い一般化性能で学習できることを示している。主な結果は、再帰的重み行列の固有値ノルムが1より大きい場合でも、訓練誤差および一般化誤差が入力長に対して多項式的（またはほぼ多項式的）にスケーリングされることであり、これにより従来の指数的バウンドを克服している。

ABSTRACT

Recurrent Neural Networks (RNNs) are among the most popular models in sequential data analysis. Yet, in the foundational PAC learning language, what concept class can it learn? Moreover, how can the same recurrent unit simultaneously learn functions from different input tokens to different output tokens, without affecting each other? Existing generalization bounds for RNN scale exponentially with the input length, significantly limiting their practical implications. In this paper, we show using the vanilla stochastic gradient descent (SGD), RNN can actually learn some notable concept class efficiently, meaning that both time and sample complexity scale polynomially in the input length (or almost polynomially, depending on the concept). This concept class at least includes functions where each output token is generated from inputs of earlier tokens using a smooth two-layer neural network.

研究の動機と目的

• SGDがPAC学習フレームワークにおいて、RNNを証明可能な一般化性能で学習できるかどうかという理論的理解の根本的ギャップを解消すること。
• 同じ入力トークンが異なる位置で異なる関数を学習する際、干渉を避ける方法を解明すること。
• 再帰的重み行列のノルムに起因する、入力長に指数的にスケーリングされる既存の一般化バウンドを克服すること。
• SGDが、スペクトルノルムβ > 1であっても、RNNにおいて同時に効率的な最適化と一般化を達成できることを確立すること。
• 出力が以前の入力から滑らかな2層ネットワークを介して生成されるような概念クラスにおいて、RNNが、多項式的時間およびサンプル複雑性で効率的に学習できることを示すこと。

提案手法

• 著者らは、各出力トークンが以前の入力の滑らかで微分可能な関数によって計算される2層フィードフォワードネットワーク構造をRNN内に埋め込んだ分析を実施している。
• 重み行列のノルムを制御するために、予測損失とペナルティ項を組み合わせた正則化された目的関数Gを導入している。
• 主な技術的ツールとして、RNN重みの最適化と一般化誤差を分離するためのスケーリングされた双対変数λを用い、安定した勾配更新を可能としている。
• 濃度不等式と行列摂動理論を用いて、確率的勾配が真の勾配からどれほど逸脱するかをバウンドしている。
• SGDの反復にわたるテレスコピング引数を適用し、期待される目的関数値が最適値からε以内に収束することを示している。
• 最終的な重みノルムΔのバウンドを導出し、それが入力長および問題パラメータに関して多項式的に依存することを示しており、一般化を保証している。

実験結果

リサーチクエスチョン

• RQ1 SGDは、各出力が以前の入力から滑らかな関数によって生成されるような系列タスクにおいて、RNNを証明可能な一般化性能で学習できるか？
• RQ2 再帰的重み行列のスペクトルノルムβ > 1であっても、RNNの一般化誤差が入力長に対して多項式的スケーリングを保つのか？
• RQ3 同じ入力トークンが異なる位置で異なる関数を学習する際、訓練例を記憶することなく干渉を避けるにはどうすればよいか？
• RQ4 βに対する明示的な正則化なしに、標準的なSGDにおいてRNNの最適化と一般化を同時に保証できるか？
• RQ5 入力から滑らかな2層ネットワークを介して出力が生成されるような、RNNがバニラSGDで効率的に学習可能な（多項式的時間およびサンプル複雑性を有する）概念クラスは存在するか？

主な発見

• SGDは、入力長Lに関して多項式的（またはほぼ多項式的）にスケーリングされる時間およびサンプル複雑性で、最適誤差からε以内の一般化誤差を達成する。
• 再帰的重み行列のスペクトルノルムβが1を超えていても、本手法は有効であり、これにより従来のLに指数的に依存する一般化バウンドが無効化される。
• ε-最適性を達成するためのSGD反復回数Tは、O(p²ρ¹²C²/ε²) である。ここで、p, ρ, Cは問題に依存するパラメータである。
• 最終的な重みノルム‖Wₜ‖_F は、O(C²ρ¹¹p²/ε²√m) でバウンドされ、これはLに依存せず、一般化を保証する。
• 解析により、一般化誤差がO(ρ⁷Δ⁴/³/m¹/⁶) でバウンドされ、過剰パラメータ化（大きなm）によりこれを小さくできることが示された。
• 本結果は、各出力トークンが以前の入力トークンに滑らかな2層ReLUネットワークを適用することで生成されるような概念クラスに対して成立し、明確で実用的な関数クラスを提供する。