[論文レビュー] UnICORNN: A recurrent model for learning very long time dependencies

T. Konstantin Rusch, Siddhartha Mishra|arXiv (Cornell University)|Mar 9, 2021

Model Reduction and Neural Networks参考文献 51被引用数 11

ひとこと要約

UnICORNNは、2階常微分方程式系の構造保存型時間離散化に基づく、新たな再帰的ニューラルネットワークアーキテクチャを提案する。このアプローチにより、勾配の消失・爆発問題を緩和する厳密な勾配バウンドが得られ、長期間の順序依存タスクにおいて最先端の性能を達成する。モデルは時間的に可逆であり、メモリ効率が高く、複数のベンチマークで低分散を示す再訓練実験を通じて高いロバスト性を示す。

ABSTRACT

The design of recurrent neural networks (RNNs) to accurately process sequential inputs with long-time dependencies is very challenging on account of the exploding and vanishing gradient problem. To overcome this, we propose a novel RNN architecture which is based on a structure preserving discretization of a Hamiltonian system of second-order ordinary differential equations that models networks of oscillators. The resulting RNN is fast, invertible (in time), memory efficient and we derive rigorous bounds on the hidden state gradients to prove the mitigation of the exploding and vanishing gradient problem. A suite of experiments are presented to demonstrate that the proposed RNN provides state of the art performance on a variety of learning tasks with (very) long-time dependencies.

研究の動機と目的

• 非常に長い順序依存性を処理するRNNにおける勾配の消失・爆発問題（VEGP）に対処すること。
• メモリ効率が良く、高速で、時間的に可逆な再帰的アーキテクチャを設計すること。
• ハミルトニアン力学を用いて隠れ状態の勾配に厳密なバウンドを導出することで、長期間にわたるシーケンスにおける安定した学習を保証すること。
• 既存のRNNを上回る性能を発揮しながら、表現力とロバスト性を維持する長期間依存タスクにおける性能向上を図ること。

提案手法

• 隠れ状態がハミルトニアン力学系に従って進化する2階常微分方程式系に基づくモデルで、カップルドオシレーターをモデル化する。
• ハミルトニアン構造を保存するためのシンプレクティック積分法を用いて、ODE系を離散化することで勾配安定性を確保する。
• 活性化関数（tanh）と学習可能な重みを組み込んだ時間依存のハミルトニアン関数をアーキテクチャに採用する。
• ハミルトニアン系におけるエネルギー保存則により勾配が有界になるように保証し、指数的増大・減衰を防止する。
• 深層マルチレイヤーUnICORNNの安定化と性能向上のため、残差接続を導入する。
• 表現力の向上のため、マルチスケール時間ステップベクトルを用い、アブレーションスタディによりその重要性を確認する。

実験結果

リサーチクエスチョン

• RQ1 ハミルトニアンベースのRNNアーキテクチャは、隠れ状態の勾配に厳密なバウンドを提供し、勾配の消失・爆発問題を緩和できるか？
• RQ2 2階ODE系の構造保存型離散化は、メモリ効率が良く、可逆的かつ高速なRNNをもたらすか？
• RQ3 UnICORNNは、LSTM や coRNN といった最先端のRNNと比較して、長期間順序タスクでどのように性能を発揮するか？
• RQ4 残差接続とマルチスケール時間ステップは、深層UnICORNNにおける学習安定性と性能にどのような影響を与えるか？
• RQ5 UnICORNNは、多様な長期間シーケンスタスクに一般化可能で、ランダムな重み初期化の繰り返し実験でも低分散を示すか？

主な発見

• UnICORNNは、psMNIST、ノイズ付加CIFAR-10、IMDBセンチメント分類タスクで最先端の性能を達成し、テスト精度はpsMNIST（256ユニット）で98.2%、CIFAR-10で61.5%、IMDBで88.1%を記録した。
• 再訓練10回の実験においても、標準偏差が非常に低く（例：256ユニットのpsMNISTでは0.22%）、安定した学習を示す高ロバスト性を示した。
• 残差接続は深層UnICORNNにおける性能向上に顕著な効果を示し、CIFAR-10タスクにおいてL=5,6の深層構造でres-UnICORNNが標準UnICORNNを上回った。
• マルチスケール時間ステップベクトルは不可欠である：その除去により顕著な性能低下が生じ、表現力向上におけるその役割が確認された。
• 訓練中における重みノルムが有界に保たれ、理論的勾配バウンドの妥当性が裏付けられ、アーキテクチャの安定性が確認された。
• 予想通り、UnICORNNはカオス的時系列予測（例：F=8）では失敗した。これは、LSTMとは異なりカオス的ダイナミクスをモデル化するように設計されていないためである。