[論文レビュー] Inferring Dynamical Systems with Long-Range Dependencies through Line Attractor Regularization.

Dominik Schmidt, Georgia Koppe+2 more|arXiv (Cornell University)|Sep 25, 2019

Neural Networks and Applications参考文献 51被引用数 6

ひとこと要約

この論文では、ReLUベースのRNNに線型アトラクタ正則化を提案することで、勾配消失／爆発問題を克服しつつ表現力も損なわず、長距離依存関係や遅い力学的時間スケールを実現する。この手法により、順序付きMNIST、乗算タスク、複数時間スケールを持つ力学的システムの再構築において性能が向上し、部分的な潜在空間を線型アトラクタ構成に安定化させることで実現される。

ABSTRACT

Vanilla RNN with ReLU activation have a simple structure that lends itself to systematic dynamical systems analysis and interpretation, but they suffer from the exploding vs. vanishing gradients problem. Recent attempts to retain this simplicity while alleviating the gradient problem are based on proper initialization schemes or orthogonality/unitary constraints on the RNN's recurrence matrix, which, however, comes with limitations to its expressive power with regards to dynamical systems phenomena like chaos or multi-stability. Here, we instead suggest a regularization scheme that pushes part of the RNN's latent subspace toward a line attractor configuration that enables long short-term memory and arbitrarily slow time scales. We show that our approach excels on a number of benchmarks like the sequential MNIST or multiplication problems, and enables reconstruction of dynamical systems which harbor widely different time scales.

研究の動機と目的

• アンサンブルReLU RNNにおける勾配消失・爆発問題に対処しつつ、構造的単純性を維持すること。
• 力学的システムにおける長期間の短期的依存関係および任意に遅い時間スケールのモデル化を可能にすること。
• 再帰行列に対する直交性やユニタリティ制約の制限を克服し、カオスやマルチスタビリティなどの複雑な力学的挙動の表現力を制限しないこと。
• 順序付きMNISTや乗算問題のような長距離依存関係を含むベンチマークタスクにおける性能向上を実現すること。
• 広範な時間スケール差を示す力学的システムの正確な再構築を可能にすること。

提案手法

• RNNの隠れ状態空間の部分空間が線型アトラクタを形成するよう促す正則化項を導入し、1次元多様体に沿った軌道を安定化させる。
• 訓練中にこの正則化を適用することで、ReLU活性化関数やネットワークアーキテクチャを変更せずに長期記憶と遅いダイナミクスを維持する。
• 潜在空間を隠れ状態空間内の特定の方向に一致させるために、射影に基づく定式化を用いて線型アトラクタ構造を強制する。
• アンサンブルReLU RNNの単純さを保ちつつ、マルチスタビリティや固定点への緩やかな収束といったより豊かな力学的挙動を可能にする。
• 標準的なバックプロパゲーションを用いてエンドツーエンドでモデルを訓練し、線型アトラクタ正則化項を損失関数に統合する。
• 正則化は隠れユニットまたは方向のサブセットにのみ適用され、他の部分での複雑な非線形ダイナミクスのモデル化能力を維持する。

実験結果

リサーチクエスチョン

• RQ1 単純なReLU RNNに線型アトラクタ正則化を適用することで、長距離時間的依存関係を効果的にモデル化できるか？
• RQ2 線型アトラクタ正則化により、訓練の安定性を損なわず、任意に遅い時間スケールのRNNダイナミクスを実現できるか？
• RQ3 この手法は、広範な時間スケール差を示す力学的システムを、標準的なRNNよりも正確に再構築できるか？
• RQ4 線型アトラクタ正則化は、カオス的・多安定的挙動の表現力を保持する観点で、直交性やユニタリティ制約と比較してどのように優れているか？
• RQ5 このアプローチは、順序付きMNISTや乗算問題のようなベンチマークタスクにおいて、どの程度性能を向上させるか？

主な発見

• 提案手法は順序付きMNISTベンチマークで最先端の性能を達成し、一般化性能と長期記憶能力の向上を示した。
• 正確な長期記憶と安定した内部表現を必要とする乗算問題を効果的に解けることを確認した。
• 時間スケールの差が著しい力学的システムの再構築において、標準的なRNNよりも正確に実現でき、特に遅い過渡状態の捉え込みに優れた性能を示した。
• 線型アトラクタ正則化により、直交性制約に依存せず、安定的で遅いダイナミクスを維持でき、カオス的・多安定的挙動の表現力を保持した。
• 長距離依存関係や遅い時間スケールダイナミクスを必要とするタスクにおいて、標準的なReLU RNNや直交性正則化モデルを上回る性能を示した。
• 正則化により、潜在部分空間が線型アトラクタに効果的に安定化され、ReLUベースRNNの単純さと解釈可能性を保ちつつ、長期間の短期記憶を実現できた。