[論文レビュー] Early Improving Recurrent Elastic Highway Network

Hyunsin Park, Chang D. Yoo|arXiv (Cornell University)|Aug 14, 2017

Time Series Analysis and Forecasting参考文献 17被引用数 4

ひとこと要約

本稿では、入力ごとに再帰的深さを動的に調整するための修正指数的減少ゲーティング関数を用いた、新しいRNNアーキテクチャであるEarly Improving Recurrent Elastic Highway Network (EI-REHN) を提案する。このアーキテクチャにより、早期の性能向上と適応的計算が可能となり、再帰的ハイウェイネットワーク（RHN）の改良版として、パラメータの増加を抑えて効率性を向上させた。

ABSTRACT

To model time-varying nonlinear temporal dynamics in sequential data, a recurrent network capable of varying and adjusting the recurrence depth between input intervals is examined. The recurrence depth is extended by several intermediate hidden state units, and the weight parameters involved in determining these units are dynamically calculated. The motivation behind the paper lies on overcoming a deficiency in Recurrent Highway Networks and improving their performances which are currently at the forefront of RNNs: 1) Determining the appropriate number of recurrent depth in RHN for different tasks is a huge burden and just setting it to a large number is computationally wasteful with possible repercussion in terms of performance degradation and high latency. Expanding on the idea of adaptive computation time (ACT), with the use of an elastic gate in the form of a rectified exponentially decreasing function taking on as arguments as previous hidden state and input, the proposed model is able to evaluate the appropriate recurrent depth for each input. The rectified gating function enables the most significant intermediate hidden state updates to come early such that significant performance gain is achieved early. 2) Updating the weights from that of previous intermediate layer offers a richer representation than the use of shared weights across all intermediate recurrence layers. The weight update procedure is just an expansion of the idea underlying hypernetworks. To substantiate the effectiveness of the proposed network, we conducted three experiments: regression on synthetic data, human activity recognition, and language modeling on the Penn Treebank dataset. The proposed networks showed better performance than other state-of-the-art recurrent networks in all three experiments.

研究の動機と目的

• 時間変動する時系列ダイナミクスをモデル化する際の、固定深さの再帰的ハイウェイネットワーク（RHN）の非効率さと性能低下を解消すること。
• すべての入力に対して大きな固定再帰的深さを設定することで生じる計算の無駄と遅延を低減すること。
• 再帰的ステップの初期段階で顕著な隠れ状態の更新を優先することで、早期の性能向上を実現すること。
• 各中間層に対して共有ではなく動的更新される重み行列を用いることで、表現能力を向上させること。
• 提案されたアーキテクチャの有効性を、多様な時系列モデリングタスクにわたって検証すること。

提案手法

• 入力と前の隠れ状態の修正指数的減少関数に基づくエラスティックゲートを導入し、各入力に対して実行する中間再帰ステップ数を決定する。
• 初期の隠れ状態の更新を優先するゲーミング機構を採用し、計算の初期段階で顕著な性能向上が得られることを保証する。
• ハイパーネットワークに類似した構造を用いて、各中間再帰層の重み行列を動的に生成し、表現学習を向上させる。
• ゲーミング関数を用いて再帰ステップ数を制御することで、入力ごとに可変な深さを実現しつつ、残差学習の安定性を維持する。
• EI-REHNセルをRHNセルの代替として実装し、時間ステップ間でハイパーネットワークのパラメータを共有するが、層ごとに異なる重みを動的に生成する。
• 標準的な誤差逆伝播法と交差エントロピー損失関数、Adam最適化法を用いてモデルを学習し、実験間で隠れ状態の次元を一定に保つ。

実験結果

リサーチクエスチョン

• RQ1 再帰的ネットワークは、入力ごとに再帰的深さを動的に調整することで、効率性と性能を向上させることができるか？
• RQ2 修正指数的減少ゲーティング関数は、時系列モデリングにおいて、より早期かつより効果的な性能向上を実現できるか？
• RQ3 中間層ごとに動的重み行列を用いることで、RHNの共有重みを越えて表現学習を向上させることができるか？
• RQ4 EI-REHNは、多様な時系列タスクにおいて、RHN や他の最先端モデルと比較して、精度やパープレキシティの点で優れているか？
• RQ5 再帰的深さが増加する中で、提案されたアーキテクチャはパラメータの増加を抑えつつ、性能を維持または向上させられるか？

主な発見

• ペンツリーブンクォーリングタスクにおいて、最大再帰的深さが4のEI-REHNは、10ステップのRHN（66.0）を上回り、より少ないパラメータで報告済みの最高結果（66.2）に匹敵した。
• EI-REHNは2500万パラメータで検証パープレキシティ70.0を達成し、2400万パラメータのRHN（68.1）を上回り、LSTMやアンサンブルモデルをも凌駆した。
• ヒューマンアクティビティ認識タスクでは、EI-REHNはRHNや他の最先端モデルと比較して優れた分類精度を示し、より優れた時系列表現学習を実現した。
• 合成回帰タスクでは、EI-REHNは時間変動する非線形ダイナミクスを効果的に捉え、複雑な時系列パターンへの適応性を確認した。
• EI-REHNのパラメータ数は再帰的深さ2〜5の間でほぼ一定（2530万）を維持したが、RHNは2070万から2930万に増加したため、パラメータ効率性に優れた。
• RHNでさえも、EI-REHNは低い再帰的深さでも優れた性能を示した。これは、早期かつ適応的計算がより効果的な学習をもたらすことを示している。