[論文レビュー] On Generalization Bounds of a Family of Recurrent Neural Networks

Minshuo Chen, Xingguo Li+1 more|arXiv (Cornell University)|Oct 28, 2019

Neural Networks and Applications参考文献 43被引用数 19

ひとこと要約

この論文は、PAC学習フレームワークにおける経験的ラデマッハ複雑度を用いて、バニラRNN、MGU、LSTM、Conv RNNを含む一連の再帰的ニューラルネットワークの一般化境界を確立する。重み行列の特異値ノルムとパラメータ数を活用することで、従来の研究よりもタイトな境界を導出し、MGU や LSTM のようなゲート付きバージョンがバニラRNNよりも一般化性能に優れていることを示している。

ABSTRACT

Recurrent Neural Networks (RNNs) have been widely applied to sequential data analysis. Due to their complicated modeling structures, however, the theory behind is still largely missing. To connect theory and practice, we study the generalization properties of vanilla RNNs as well as their variants, including Minimal Gated Unit (MGU), Long Short Term Memory (LSTM), and Convolutional (Conv) RNNs. Specifically, our theory is established under the PAC-Learning framework. The generalization bound is presented in terms of the spectral norms of the weight matrices and the total number of parameters. We also establish refined generalization bounds with additional norm assumptions, and draw a comparison among these bounds. We remark: (1) Our generalization bound for vanilla RNNs is significantly tighter than the best of existing results; (2) We are not aware of any other generalization bounds for MGU, LSTM, and Conv RNNs in the exiting literature; (3) We demonstrate the advantages of these variants in generalization.

研究の動機と目的

• 再帰的ニューラルネットワーク（RNN）における一般化の理論的理解の不足に取り組むこと。特に、時系列モデリングにおいて広く用いられていることと照らし合わせて。
• PAC学習フレームワークの下で、バニラRNNおよびその変種（MGU、LSTM、Conv RNN）の厳密な一般化境界を確立すること。
• 異なるRNNアーキテクチャの一般化性能を比較し、ゲート付きユニットの構造的優位性を同定すること。
• 層ごとの複雑さを避けるために、スペクトルノルムとパラメータ数を用いることで、既存の一般化境界を改善すること。

提案手法

• 一般化誤差をバウンディングするために、PAC学習フレームワーク内での経験的ラデマッハ複雑度（ERC）を用いた理論的分析を実施する。
• 重み行列の特異値ノルムと総パラメータ数を分離することで、解析を単純化し、境界を改善する。
• シーケンス間の重み行列および隠れ状態の差の上限をとることで、隠れ状態および出力ダイナミクスのリプシッツ連続性を導出する。
• Conv RNNにおける重み行列のスペクトルノルムをバウンディングするために、循環行列構造を活用する。これにより、タイトな一般化境界が可能になる。
• 隠れ状態に対するリプシッツ境界を再帰的に適用することで、一般化誤差境界がシーケンス長およびスペクトルノルムに比例することを示す。
• 非線形活性化関数（例：tanh）に対しても解析を拡張し、入力ノルムの有界性をノルム仮定として扱う。

実験結果

リサーチクエスチョン

• RQ1 バニラRNNは、一般化の観点から顕著な次元の呪いに見舞われるか？
• RQ2 MGUおよびLSTMは、一般化の観点でバニラRNNに比べてどのような理論的利点を有するか？
• RQ3 理論的にあまり研究されていないConv RNNに対しても、一般化境界を導出できるか？
• RQ4 スペクトルノルムとパラメータ数が、RNNにおける一般化誤差にどのように共同で影響を与えるか？

主な発見

• バニラRNNの一般化境界は、文献に既存の最良の結果よりも顕著にタイトである。
• MGU、LSTM、Conv RNNの一般化境界を確立した最初の研究であり、理論的理解における重要なギャップを埋めている。
• Conv RNNの導出された境界は、シーケンス長、入力ノルム、スペクトルノルムに依存し、パラメータ数と深さに明示的な依存関係を示している。
• 解析により、ゲート付きユニット（MGU、LSTM）は、隠れ状態ダイナミクスの制御が向上しているため、バニラRNNよりも優れた一般化特性を示すことが判明した。
• Conv RNNの境界は、$\mathbb{P}(\widetilde{z}_t \neq z_t) \leq \widehat{\mathcal{R}}_\gamma(f_t) + O\left(\frac{B_x kt\sqrt{\log(dt\sqrt{m})}}{\sqrt{m}\gamma} + \sqrt{\frac{1}{m}}\right)$ の形を取り、シーケンス長およびモデルの複雑さに明示的な依存関係があることが示された。
• 理論的結果により、重み行列のスペクトルノルムと総パラメータ数が、RNNにおける一般化誤差の主要因であることが確認された。