[論文レビュー] Do RNN and LSTM have Long Memory?

Jingyu Zhao, Feiqing Huang+5 more|arXiv (Cornell University)|Jun 6, 2020

Neural Networks and Applications参考文献 25被引用数 40

ひとこと要約

論文は、標準条件下では vanilla RNN と LSTM は記憶が短いことを示し、長期依存性をモデル化できる長期記憶フィルターを備えた memory-augmented variant（MRNN/MLSTM）を導入する。

ABSTRACT

The LSTM network was proposed to overcome the difficulty in learning long-term dependence, and has made significant advancements in applications. With its success and drawbacks in mind, this paper raises the question - do RNN and LSTM have long memory? We answer it partially by proving that RNN and LSTM do not have long memory from a statistical perspective. A new definition for long memory networks is further introduced, and it requires the model weights to decay at a polynomial rate. To verify our theory, we convert RNN and LSTM into long memory networks by making a minimal modification, and their superiority is illustrated in modeling long-term dependence of various datasets.

研究の動機と目的

• RNN および LSTM が mild 条件下で統計的観点から長期記憶を示すかを評価する。
• ニューラルネットワークに適用可能な長期記憶ネットワークの新しい定義を導入し、標準的な再帰モデルの限界を特定する。
• RNN および LSTM に長距離依存性のモデリングを可能にする記憶フィルターの強化を提案する。
• memory augmented アーキテクチャ（MRNN および MLSTM）を提供し、それらを長期記憶データセットで有効であることを示す。
• synthetic および real-world データセット（時系列および感情分析を含む）で理論的 findings を実験で検証する。

提案手法

• マルコフ過程として再帰ネットワークをモデル化し、短期記憶の条件（幾何エルゴード性）を導出する。
• 過去入力の影響がべき法則に従って減衰する係数列 A_k による長期記憶ネットワークの Definition 3 を導入する。
• 分数階微分のような長期記憶効果を近似する記憶フィルタ F(x; d) を提案し、それを RNN（MRNN）および LSTM（MLSTM）アーキテクチャに組み込む。
• 固定された記憶パラメータを持つ MRNNF および MLSTMF バリアントを開発し、ベースラインモデルと比較する。
• 新しい定義の下で、MRNNF が長期記憶能力を持ち、RNN は持たないことを理論的に示す。
• 長期記憶データセットと短期記憶データセット、さらに感情分析タスクで、パフォーマンスを比較する広範な実験を行う。

実験結果

リサーチクエスチョン

• RQ1 標準的な仮定と定義の下で、vanilla RNN および LSTM は長期記憶を示すのか？
• RQ2 ニューラルネットワークに統計的長期記憶の定義を適用できるか、そしてそれを実現するためにはどのようなアーキテクチャ変更が必要か？
• RQ3 memory-augmented 版 MRNN および MLSTM は従来の再帰モデルと比較して長距離依存性のモデリングを改善するか？
• RQ4 提案モデルは真の長期記憶特性を持つデータと短期記憶データでどのように性能が異なるか？
• RQ5 MRNN/MLSTM の記憶パラメータ K のフォー forecasting 性能への影響はどの程度か？

主な発見

Model	ARFIMA	DJI (x100)	Traffic	Tree
ARFIMA	1.1620 (0.1980)	0.2605 (0.0171)	336.44 (10.401)	0.2871 (0.0086)
RNN	1.1370 (0.2010)	0.2600 (0.0180)	336.50 (10.400)	0.2865 (0.0085)
RNN2	1.1630 (0.1820)	0.2521 (0.0112)	336.32 (10.182)	0.2855 (0.0077)
RWA	1.6840 (0.0050)	0.2689 (0.0095)	346.62 (1.410)	0.3048 (0.0001)
MIST	1.1390 (0.1832)	0.2604 (0.0154)	358.09 (16.270)	0.2883 (0.0091)
MRNNF	1.1010 (0.1000)	0.2472 (0.0109)	333.36 (8.453)	0.2822 (0.0048)
MRNN	1.0880 (0.1140)	0.2487 (0.0105)	333.72 (10.157)	0.2818 (0.0053)
LSTM	1.1340 (0.1200)	0.2492 (0.0128)	337.60 (8.146)	0.2833 (0.0070)
MLSTMF	1.1580 (0.1660)	0.2540 (0.0139)	337.78 (9.020)	0.2859 (0.0082)
MLSTM	1.1490 (0.1660)	0.2531 (0.0130)	337.83 (9.440)	0.2859 (0.0083)

• 幾何エルゴード性の結果を通じて、RNN および LSTM は mild 条件下で短期記憶を持つことが示される。
• 過去入力の影響が多項式的に減衰することに基づく新しい長期記憶ネットワークの定義を提案。
• 分数微分様の長期記憶効果を可能にする記憶フィルタを RNN および LSTM に組み込み、MRNN および MLSTM を得る。
• MRNN/MRNNF はいくつかの長期記憶データセット（ARFIMA、DJI、Traffic、Tree）でベースラインより予測性能が高い。
• MLSTM/MLSTMF は競争力のある結果を示すが、訓練効率と性能のために記憶パラメータ K の慎重な調整が必要。
• 統計的検定により MRNN が RNN を上回ることが多く、複数データセットで LSTM をも上回ることがある。