[論文レビュー] The Statistical Recurrent Unit

Junier B. Oliva, Barnabás Póczos+1 more|arXiv (Cornell University)|Mar 1, 2017

Neural Networks and Applications参考文献 23被引用数 16

ひとこと要約

この論文は、複雑なゲーミング機構に代わって入力統計の移動平均を用いることで、長期依存関係を捉えるシンプルなゲートなし再帰的ニューラルネットワーク、統計的再帰ユニット（SRU）を導入する。LSTM や GRU と同等のパラメータ数でありながらも、特に長距離依存関係を示すタスクにおいて、マルチスケール統計の線形結合による時間的文脈の効率的表現が可能であるため、両者を上回る性能を発揮する。

ABSTRACT

Sophisticated gated recurrent neural network architectures like LSTMs and GRUs have been shown to be highly effective in a myriad of applications. We develop an un-gated unit, the statistical recurrent unit (SRU), that is able to learn long term dependencies in data by only keeping moving averages of statistics. The SRU's architecture is simple, un-gated, and contains a comparable number of parameters to LSTMs; yet, SRUs perform favorably to more sophisticated LSTM and GRU alternatives, often outperforming one or both in various tasks. We show the efficacy of SRUs as compared to LSTMs and GRUs in an unbiased manner by optimizing respective architectures' hyperparameters in a Bayesian optimization scheme for both synthetic and real-world tasks.

研究の動機と目的

• 再帰的データに長期的依存関係を効果的にモデル化できる、よりシンプルで効率的な再帰ユニットの開発。
• 要約統計量—特に移動平均—が再帰ネットワークにおける複雑なゲーミング機構に代わる可能性があるかの探求。
• 合成および実世界の系列タスクにおいて、LSTM や GRU といった既存のゲーテッドアーキテクチャと比較して、SRU の性能を評価すること。
• マルチスケール統計および再帰的統計が、強力な系列モデル化を可能にする役割を果たすかの調査。
• 最小限のゲートなしアーキテクチャが、より複雑なゲーテッドユニットを凌駕するか、同等の性能を発揮できることの実証。

提案手法

• SRU は、現在の入力と前の隠れ状態に依存する関数 γ を用いて再帰的更新を計算し、γ_i = γ(x_i, γ_{i-1}) と定式化する。
• 複数の時間スケールにおける入力統計の指数移動平均を維持することで、異なる時間的視点へのアクセスを可能にする。
• 隠れ状態は、これらのマルチスケール移動平均の線形結合として計算され、過去の文脈の効率的かつ表現力豊かな表現が可能になる。
• 勾配消失問題を緩和するために、ReLU活性化関数と指数移動平均が使用される。
• SRU のアーキテクチャは、時間軸に跨る共有重みを用いてパrameter化されており、LSTM や GRU と同等の低パラメータ数を維持する。
• 出力は、最終的な隠れ状態を線形層に通して生成され、バックプロパゲーションスルータイムによる学習が行われる。

実験結果

リサーチクエスチョン

• RQ1 シンプルでゲートなしの再帰ユニットが、LSTM や GRU といったゲーテッドアーキテクチャを上回って長期的依存関係をモデル化できるか？
• RQ2 要約統計量の移動平均が、異なる時間スケールで時間的文脈を効果的に捉えられるか？
• RQ3 以前の統計量に依存する再帰的統計量を用いることで、静的または i.i.d. な要約統計量よりも系列モデル化の性能が向上するか？
• RQ4 ベイズ最適化を用いてハイパーパramータを最適化した場合、SRU の性能がLSTM や GRU と比べてどの程度か？
• RQ5 どのような種類の系列タスクにおいて、SRU のマルチスケール統計的表現が顕著な利点を発揮するか？

主な発見

• 長期的依存関係を有する合成データでは、SRU はテスト誤差 0.0026 を達成し、GRU（0.0123）とLSTM（0.0078）を著しく上回った。
• エレクトロニカ音楽のMFCC予測タスクでは、SRU はテストMSE 1.176 を達成し、GRU（2.080）を上回り、LSTM（1.183）にほぼ同等の性能を発揮した。
• 気象データ予測では、SRU はテストMSE 0.465 を達成し、LSTM の 0.466 に非常に近い性能を示し、GRU の 0.487 よりも優れていた。
• NBA プレイヤーの追跡データでは、SRU はテストMSE 34.505 を達成し、GRU（329.921）とLSTM（296.908）を大幅に上回った。
• SRU の性能は、多様な系列タイプにおいても安定しており、長期的依存関係を含むタスクで一貫した向上が見られた。
• アブレーションスタディにより、マルチスケール統計と再帰的統計の両方が不可欠な構成要素であることが確認され、それぞれがモデル全体の性能に顕著な寄与を果たしていた。