[論文レビュー] Slower is Better: Revisiting the Forgetting Mechanism in LSTM for Slower Information Decay

Hsiang-Yun Sherry Chien, Javier S. Turek+4 more|arXiv (Cornell University)|May 12, 2021

Ferroelectric and Negative Capacitance Devices参考文献 28被引用数 10

ひとこと要約

この論文では、標準LSTMにおける指数関数的減衰を、より遅く学習可能なべき乗則的減衰に置き換えるべき乗則的忘れゲート（pLSTM）を提案する。これにより、事前の知識がなくても数百ステップにわたる情報保持が可能となり、コピー、画像分類、言語モデリングのタスクで、vanilla LSTM や chrono初期化LSTMを上回る性能を発揮する。衰減係数 $p$ を柔軟に調整できることで、長距離の順序依存関係の学習が向上する。

ABSTRACT

Sequential information contains short- to long-range dependencies; however, learning long-timescale information has been a challenge for recurrent neural networks. Despite improvements in long short-term memory networks (LSTMs), the forgetting mechanism results in the exponential decay of information, limiting their capacity to capture long-timescale information. Here, we propose a power law forget gate, which instead learns to forget information along a slower power law decay function. Specifically, the new gate learns to control the power law decay factor, p, allowing the network to adjust the information decay rate according to task demands. Our experiments show that an LSTM with power law forget gates (pLSTM) can effectively capture long-range dependencies beyond hundreds of elements on image classification, language modeling, and categorization tasks, improving performance over the vanilla LSTM. We also inspected the revised forget gate by varying the initialization of p, setting p to a fixed value, and ablating cells in the pLSTM network. The results show that the information decay can be controlled by the learnable decay factor p, which allows pLSTM to achieve its superior performance. Altogether, we found that LSTM with the proposed forget gate can learn long-term dependencies, outperforming other recurrent networks in multiple domains; such gating mechanism can be integrated into other architectures for improving the learning of long timescale information in recurrent neural networks.

研究の動機と目的

• 標準LSTMにおける指数関数的情報減衰の制限を解消し、順序データにおける長距離依存関係の学習を促進すること。
• 自然な認知プロセスで観察される遅いべき乗則的減衰を模倣する、より生物学的に妥当で柔軟な忘却メカニズムを構築すること。
• シーケンス長の事前知識がなくても、LSTMが長期依存関係を学習できるようにすること。
• 少数の単位に遅い減衰係数を割り当てることで、タスクに必要な情報を保持する戦略を可能にし、モデルのロバスト性と解釈可能性を向上させること。

提案手法

• 標準LSTMにおけるシグモイド忘れゲートを、学習可能な指数 $p$ で制御されるべき乗則的減衰をもつ忘れゲートに置き換える。
• 微分可能なパラメータ $p$ を用いたべき乗則的減衰関数 $1/t^p$ を用いて、セル状態の更新を定式化する。
• べき乗則的忘れゲートをLSTMセルの更新ルールに統合し、隠れ状態およびセル状態の遷移を適切に修正する。
• 訓練中に $p$ を初期化または固定することで、減衰係数の影響を分析する。
• アブレーションスタディおよびユニット活性度分析を用いて、低減衰ユニットが長期的情報を保持する役割を検証する。
• コピータスク、画像分類、言語モデリング、および変動する時間間隔を含む周波数識別タスクなど、長距離依存性を要するタスクでモデルを評価する。

実験結果

リサーチクエスチョン

• RQ1 学習可能なべき乗則的忘れゲートは、指数関数的減衰の制限を超えて、LSTMにおける長距離情報保持を向上させることができるか？
• RQ2 pLSTMモデルは、標準LSTMおよびchrono初期化LSTMと比較して、数百度のステップにわたる記憶を要するタスクで優れた性能を発揮するか？
• RQ3 シーケンス長の事前知識がなくても、訓練中に減衰係数 $p$ がタスクの要件に適応して効果的に学習可能か？
• RQ4 pLSTMは標準LSTMよりもユニットのアブレーションに対してロバストであるか？これは、長期的情報をより効率的または局所化された形で表現している証左となるか？
• RQ5 明示的な時間入力がなくても、pLSTMは時間的精度を維持できるか？これは、内部的に時間関連ダイナミクスを学習していることを示唆するか？

主な発見

• 時間入力ありの周波数識別タスクでは99.49%の精度を達成し、時間入力なしの非同期条件では92.57%を記録。LSTM（68.59%）およびLSTM-chrono（69.64%）を上回った。
• T=500のコピータスクでは、pLSTMが99.29%の精度を達成。標準LSTM（時間あり：99.37%、時間なし：99.29%）を上回り、ユニットアブレーションに対してもロバストであることが判明。
• アブレーションスタディの結果、pLSTMは標準LSTMやLSTM-chronoと比較して、特に長時間シーケンス条件下で、ランダムなユニットドロップアウトに対してよりロバストであることが示された。
• モデルは、少数のユニットに遅い減衰係数（$p$）を割り当てることで、長時間スケールでの情報保持を実現しており、局所化された表現戦略を採用していると示唆された。
• 明示的な時間入力がなくても高い性能を維持したため、べき乗則ゲートが時間情報を内部に統合しており、変動する時間間隔への一般化能力が向上していることが示された。
• 初期化の変更および後段リセットユニットのアブレーションにより、減衰係数 $p$ が性能に極めて重要であることが確認された。特に、高 $p$ 値のユニットをアブレーションすると、精度の低下が最大となった。