[論文レビュー] A recurrent neural network without chaos

Thomas Laurent, James von Brecht|arXiv (Cornell University)|Dec 19, 2016

Topic Modeling参考文献 11被引用数 23

ひとこと要約

本稿では、忘却ゲートと入力ゲートを組み合わせた単純なゲーティング機構を用いる、新しい最小限の再帰的ニューラルネットワークである混沌乱フリー・ネットワーク（CFN）を紹介する。このCFNは、単語レベルの言語モデリングにおいてLSTMやGRUと同等の性能を達成する。その単純さにもかかわらず、CFNは混沌乱でなく、予測可能な動的挙動を示す。これは、標準的なRNNが示す複雑で混沌乱な挙動とは対照的であり、順序付きタスクにおける優れた性能を発揮するためには混沌乱な動的挙動が不可欠であるという考えを覆すものである。

ABSTRACT

We introduce an exceptionally simple gated recurrent neural network (RNN) that achieves performance comparable to well-known gated architectures, such as LSTMs and GRUs, on the word-level language modeling task. We prove that our model has simple, predicable and non-chaotic dynamics. This stands in stark contrast to more standard gated architectures, whose underlying dynamical systems exhibit chaotic behavior.

研究の動機と目的

• 順序付きタスクにおいて強力な性能を発揮するが、単純で予測可能かつ混沌乱でない動的挙動を示す再帰的ニューラルネットワークの開発。
• RNNにおける有効な順序モデリングに、混沌乱または複雑な動的挙動が不可欠であるという仮定に反論すること。
• 標準的なゲーティングRNN（LSTMやGRU）とは対照的に、数学的に取り扱いやすい代替手法を提供すること。これらのモデルは、入力がなくても混沌乱な挙動を示すことがある。
• アーキテクチャの単純さと解釈可能性が、順序モデリングにおける高い性能と両立可能かどうかを調査すること。

提案手法

• CFNは、$ h_t = \theta_t \odot \tanh(h_{t-1}) + \eta_t \odot \tanh(Wx_t) $ で定義されるゲーティング再帰機構を用いる。ここで $ \theta_t $ と $ \eta_t $ はシグモイド関数を介した更新ゲートである。
• 忘却ゲート $ \theta_t $ は $ \sigma(U_\theta h_{t-1} + V_\theta x_t + b_\theta) $ で計算され、入力ゲート $ \eta_t $ は $ \sigma(U_\eta h_{t-1} + V_\eta x_t + b_\eta) $ で計算される。これはゲーティング機構を標準化するものである。
• 動的システム理論を用いて分析を行い、入力がゼロの状態における自己同士のシステム $ \mathfrak{u}_t = \Phi(\mathfrak{u}_{t-1}) $ に注目し、内在的挙動を評価する。
• 理論的分析により、CFNの動的システムは、すべてのパラメータ設定において唯一のアトラクタがゼロ状態であることが証明され、混沌乱でない挙動が確認された。
• Penn TreebankおよびText8データセットを用いて、ドロップアウトあり・なしの両設定で実験を行い、LSTMやGRUと性能を比較する。
• 隠れ状態をゼロ初期化し、公平な比較が行えるように学習率スケジュールを慎重に調整して訓練した。

実験結果

リサーチクエスチョン

• RQ1 混沌乱でなく、予測可能な動的挙動を示す再帰的ニューラルネットワークが、単語レベルの言語モデリングにおいてLSTMやGRUと同等の性能を達成できるか？
• RQ2 標準的なRNN（LSTM や GRU）に見られる混沌乱な動的挙動は、順序データにおける長期依存関係のモデリングに不可欠であるのか？
• RQ3 入力がない状態において、提案されたCFNの隠れ状態の挙動は、標準的なゲーティングRNNとどのように異なるか？
• RQ4 アーキテクチャの単純さと数学的取り扱いやすさが、順序モデリングにおける高い性能と両立可能か？

主な発見

• 2000万パラメータの設定で、CFNはPenn Treebankデータセットにおいてテストパープレキシティ74.9を達成し、同じ条件下でLSTMの74.3に非常に近い性能を示した。
• 5000万パラメータの設定では、CFNはテストパープレキシティ72.2を達成し、より大きなLSTMの71.8をわずかに下回ったが、依然として優れた性能を示した。
• 理論的分析により、CFNの動的システムは混沌乱でないことが確認され、パラメータ設定に関わらず唯一のアトラクタがゼロ状態であることが示された。
• これに対して、標準的なLSTMやGRUは、入力がない場合でも混沌乱な動的挙動を示し、予測不能で不規則な隠れ状態の軌道をたどる。
• CFNの挙動は解釈可能である：一時的な入力に対して隠れユニットが活性化され、その後、忘却ゲートに従って予測可能な形で減衰する。
• 結果から、有効な順序モデリングに複雑で混沌乱な動的挙動が不可欠であるとは限らないことが示唆され、こうした挙動が長期記憶を可能にするという一般的な仮定に疑問を呈するものである。