[論文レビュー] MinimalRNN: Toward More Interpretable and Trainable Recurrent Neural Networks

Minmin Chen|arXiv (Cornell University)|Nov 18, 2017

Topic Modeling参考文献 11被引用数 18

ひとこと要約

MinimalRNNは、ゲート付きRNN（GRU や LSTM と同程度の性能を達成するが、1つの更新ゲートと隠れ状態の混合なしに）単純化された再帰的ニューラルネットワークアーキテクチャを提案する。更新を過去の隠れ状態と符号化された入力の重み付き平均に制限することで、解釈可能性の向上、安定した学習ダイナミクス、および適切に条件付けられた入出力ヤコビアンによる長距離依存関係の改善を実現する。

ABSTRACT

We introduce MinimalRNN, a new recurrent neural network architecture that achieves comparable performance as the popular gated RNNs with a simplified structure. It employs minimal updates within RNN, which not only leads to efficient learning and testing but more importantly better interpretability and trainability. We demonstrate that by endorsing the more restrictive update rule, MinimalRNN learns disentangled RNN states. We further examine the learning dynamics of different RNN structures using input-output Jacobians, and show that MinimalRNN is able to capture longer range dependencies than existing RNN architectures.

研究の動機と目的

• 再帰的更新の複雑さを最小限に抑えることで、より解釈可能で学習可能なRNNアーキテクチャの開発を目的とする。
• 標準RNN、LSTM、GRUに見られる混沌としたダイナミクスと学習困難性を、構造的単純化によって解消することを目的とする。
• 最小限の更新ルールが長距離依存関係を保持しつつ、学習ダイナミクスを改善できるかどうかを検証することを目的とする。
• 入出力ヤコビアンが再帰的ネットワークの学習可能性と安定性に果たす役割を分析することを目的とする。
• より単純なRNNが、シーケンスモデリング能力を損なわずに、複雑なゲート付きネットワークと同等の性能を発揮できることを実証することを目的とする。

提案手法

• MinimalRNNは、入力𝐱ₜを潜在空間𝐳ₜにマップするための別個で柔軟な符号化ネットワークΦ(·)を用いる。これはtanh活性化関数を備えた全結合層として実装される。
• 再帰的更新ルールは、𝐡ₜ = 𝐮ₜ ⊙ 𝐡ₜ₋₁ + (1 − 𝐮ₜ) ⊙ 𝐳ₜに単純化される。ここで𝐮ₜは、隠れ状態と潜在入力の両方から計算される1つの学習可能なゲートである。
• 更新ゲート𝐮ₜ = σ(𝐔ₕ𝐡ₜ₋₁ + 𝐔_z𝐳ₜ + 𝐛ᵤ)は、以前の状態の保持と新しい入力の注入を制御し、次元間の混合を回避する。
• モデルのダイナミクスは、長時間にわたるシーケンスにおける勾配伝播と安定性を評価するため、入出力ヤコビアン∂𝐡ₜ/∂𝐱ₜ₋ₖを介して分析される。
• 理論的および実験的分析により、MinimalRNNが時間ステップにわたってヤコビアンの特異値を1に近い値に保つことが示された。これは、安定したバックプロパゲーションを示している。
• 重み行列𝐖ₓ、𝐔ₕ、𝐔_zの可視化により、次元に特化した分離されたゲーティング動作が明らかになり、解釈可能性が向上した。

実験結果

リサーチクエスチョン

• RQ1 1つのゲートと隠れ状態の混合なしに、GRU や LSTM と同等の性能を達成できる最小限のRNNアーキテクチャは可能か？
• RQ2 再帰的更新を単純な重み付き平均に制限することで、RNN状態の解釈可能性が向上するか？
• RQ3 MinimalRNNの入出力ヤコビアンは、ヴァニラRNN、GRU、CFNと比較して、長時間にわたるシーケンスにおける条件付けと安定性の観点でどのように異なるか？
• RQ4 適切に条件付けられた勾配フローのおかげで、MinimalRNNは長距離依存関係を効果的に捉えることができるか？
• RQ5 学習された重み行列から、入力特徴量の分離とゲーティング動作に関するどのような知見が得られるか？

主な発見

• MinimalRNNは、その最小限のアーキテクチャにもかかわらず、シーケンスモデリングタスクでGRU や LSTM と同等の性能を達成した。
• MinimalRNNの入出力ヤコビアンは、k=25ステップ分遡った場合でも特異値が1に近いまま維持され、長時間にわたるシーケンスにおける安定した勾配フローを示している。
• GRUとは異なり、そのヤコビアン特異値が時間経過とともに伸びたり縮んだりしないため、MinimalRNNのヤコビアンは訓練中を通して適切に条件付けられている。
• モデルは分離されたRNN状態を学習し、各次元が主に1つの入力特徴量またはコンテキストに応答することが、重み行列の可視化によって示された。
• 更新ゲート重み行列𝐔ₕにおける対角優位性は、各隠れ状態次元が主に自身の過去の値によって制御されていることを示しており、解釈可能性の向上に寄与している。
• 実験的結果から、MinimalRNNはヴァニラRNNを上回り、CFNと同等の安定性を示した一方で、優れた汎化性能と長距離依存関係の学習能力を維持していた。