[論文レビュー] Capacity and Trainability in Recurrent Neural Networks

Jasmine Collins, Jascha Sohl‐Dickstein+1 more|arXiv (Cornell University)|Nov 29, 2016

Neural Networks and Applications被引用数 82

ひとこと要約

本稿では、再帰的ニューラルネットワーク（RNN）の容量と学習可能性を調査し、通常のRNNアーキテクチャ（ヴァーチャルRNN、LSTM、GRU、および新しい変種）が最適に学習された場合、すべてほぼ同一のパラメータ当たりおよびユニット当たりの容量制限に達することを発見した。主な貢献は、タスク容量がパラメータあたり約5ビットであり、入力履歴記憶は隠れユニットあたり1つの実数に相当することであり、アーキテクチャ間の性能差は主に学習可能性の違いに起因するが、容量の違いではないことである。

ABSTRACT

Two potential bottlenecks on the expressiveness of recurrent neural networks (RNNs) are their ability to store information about the task in their parameters, and to store information about the input history in their units. We show experimentally that all common RNN architectures achieve nearly the same per-task and per-unit capacity bounds with careful training, for a variety of tasks and stacking depths. They can store an amount of task information which is linear in the number of parameters, and is approximately 5 bits per parameter. They can additionally store approximately one real number from their input history per hidden unit. We further find that for several tasks it is the per-task parameter capacity bound that determines performance. These results suggest that many previous results comparing RNN architectures are driven primarily by differences in training effectiveness, rather than differences in capacity. Supporting this observation, we compare training difficulty for several architectures, and show that vanilla RNNs are far more difficult to train, yet have slightly higher capacity. Finally, we propose two novel RNN architectures, one of which is easier to train than the LSTM or GRU for deeply stacked architectures.

研究の動機と目的

• 異なるRNNアーキテクチャ間での性能差が、本質的な容量制限に起因するのか、それとも学習の難易度に起因するのかを調査すること。
• 再帰的ネットワークがパラメータにタスク関連の情報をどれだけ効率よく記憶できるか、および隠れユニットが入力履歴をどれだけ記憶できるかを定量的に評価すること。
• ゲート付きRNN（例：LSTM、GRU）が、ヴァーチャルRNNよりも優れた計算的または記憶容量を有するかどうかを検証すること。
• 深層RNNアーキテクチャにおいて、モデル容量と学習可能性のトレードオフを評価すること。
• 学習可能性とスケーラビリティを向上させることを目的とした2つの新しいRNNアーキテクチャ（UGRNNと+RNN）を提案し、その有効性を評価すること。

提案手法

• 複数のRNNアーキテクチャとタスクに対して、最適化された学習を実現するため、ガウス過程ベースのベイジアンハイパーパramータチューナーを用い、数百～数千回の試行にわたって検証損失を最小化した。
• アーキテクチャの性能に与える影響を分離するため、アーキテクチャ間でパラメータ数を固定し、深さ（1, 2, 4, 8）を変化させてスケーラビリティを評価した。
• 2つの新しいRNNアーキテクチャを設計した：UGRNN（1つの結合ゲートを持つ最小限のゲート付きRNN）と+RNN（ゲーティングを深さ方向に拡張したゲート付きアーキテクチャ）。
• 制御されたタスクを用いて、パラメータ当たりのタスク記憶容量とユニット当たりの入力履歴記憶容量を測定する容量実験を実施した。
• ゲート付きモデルがヴァーチャルRNNを上回る可能性がある困難なタスクにおいて、学習可能性の比較を実施した。
• 局所最適解を避けるために、最良のハイパーパramータを用いて100回の繰り返し学習を実施し、結果の安定性を検証した。

実験結果

リサーチクエスチョン

• RQ1 最適に学習された場合、RNNはパラメータ1つあたり最大どれだけのタスク関連情報（ビット）を記憶できるのか？ また、アーキテクチャによってその容量に顕著な差があるのか？
• RQ2 RNNは隠れユニット1つあたり、入力履歴のどの程度の情報を記憶できるのか？ また、その容量制限が一般タスクの性能に顕著に影響を与えるのか？
• RQ3 RNNアーキテクチャ間の性能差は、本質的な容量の違いではなく、主に学習可能性の違いに起因するのか？
• RQ4 ゲート付きRNN（例：LSTM、GRU）は、乗算のような複雑な演算を実行する点で、ヴァーチャルRNNに計算上の利点を有するのか？
• RQ5 新しいRNNアーキテクチャ（例：UGRNN、+RNN）は、特に深層構造において、より優れた学習可能性と性能を達成できるのか？

主な発見

• すべてのRNNアーキテクチャが、最適に学習された場合、ほぼ同一のパラメータ当たりの容量に達し、パラメータ1つあたり約5ビットのタスク情報が記憶可能である。
• RNNは隠れユニット1つあたり、入力履歴から約1つの実数を記憶できるが、この容量は一般タスクの性能に顕著な影響を及ぼさない。
• アーキテクチャ間の性能差は主に学習可能性の違いに起因し、容量の違いではない。ヴァーチャルRNNは学習が難しいが、理論的容量はわずかに高い。
• UGRNNと+RNNは、LSTM や GRU よりも学習が容易であり、特に深層構造において顕著な優位性を示した。+RNNは深い構造において他を上回る性能を発揮した。
• 浅い構造ではGRUがゲート付きRNNの中で最も学習可能性に優れていたが、LSTMは信頼性は高いものの、実験ではまれにしか最良のパフォーマンスを発揮しなかった。
• 実験的に得られた5ビット/パラメータの容量は、生物学的シナプス容量（4.7ビット/シナプス）とよく一致しており、ニューラルネットワークにおける情報記憶の根本的限界を示唆している。