[論文レビュー] DeepSITH: Efficient Learning via Decomposition of What and When Across Time Scales

Brandon G. Jacques, Zoran Tiganj+2 more|OpenBU (Boston University)|Apr 9, 2021

Neural Networks and Applications参考文献 23被引用数 5

ひとこと要約

DeepSITHは、生物学的にインspiredされたスケール不変時間履歴（SITH）モジュールを用いて、時間記憶を「何を」（what）と「いつ」（when）に分解する深層再帰ネットワークを導入する。SITHモジュールは幾何的に配置されたフィルタを用いて、対数スケールで時間を表現する。この手法は、Mackey-GlassおよびsMNISTにおける長距離依存性の学習において、さまざまな遅延やノイズに対して安定した学習を示し、最先端の性能を達成する。

ABSTRACT

Extracting temporal relationships over a range of scales is a hallmark of human perception and cognition -- and thus it is a critical feature of machine learning applied to real-world problems. Neural networks are either plagued by the exploding/vanishing gradient problem in recurrent neural networks (RNNs) or must adjust their parameters to learn the relevant time scales (e.g., in LSTMs). This paper introduces DeepSITH, a network comprising biologically-inspired Scale-Invariant Temporal History (SITH) modules in series with dense connections between layers. SITH modules respond to their inputs with a geometrically-spaced set of time constants, enabling the DeepSITH network to learn problems along a continuum of time-scales. We compare DeepSITH to LSTMs and other recent RNNs on several time series prediction and decoding tasks. DeepSITH achieves state-of-the-art performance on these problems.

研究の動機と目的

• 再帰ニューラルネットワークにおける長距離時系列依存性の学習を困難にする消失／爆発勾配問題に対処すること。
• 複数の時間スケールにわたる時間的関係を捉える、生物学的に妥当なスケール不変記憶メカニズムの開発。
• 深層層にわたる「何を」（内容）と「いつ」（タイミング）の情報の分解により、シーケンスモデリングにおける汎化性と効率性の向上。
• 広範な時間遅延、ノイズやスケーリングされた入力が含まれるタスクにおいても、頑健な性能を発揮可能にする。

提案手法

• 各DeepSITH層は、ガンマ関数ベースのフィルタΦₖ(t/τ̂)を用いて、過去の入力の時間圧縮表現を計算するスケール不変時間履歴（SITH）モジュールを内蔵する。フィルタは時間遅れτ̂でピークを示す。
• SITHフィルタは時間遅れに沿って幾何的に配置されており、時間履歴の対数スケール圧縮を可能にし、脳に観察された神経的時間細胞を模倣する。
• 密な学習可能な層が連続するSITH層を接続し、層間で「何を」の表現を変換することで、階層的時系列特徴を構築する。
• ネットワークは連続時間定式化を採用しており、事前に計算されたフィルタとの畳み込みによりSITH状態を計算することで、微分可能であり、安定した学習が保証される。
• 時間細胞表現はスケール不変性を有する：フィルタの幅は時間遅れに比例して線形に増加し、古い出来事は段階的にぼやける。
• アーキテクチャはRNNのドロップインリプレースメントとして設計されており、ハイパーパrameterの変更が最小限で、標準的な学習手順と互換性を持つ。

実験結果

リサーチクエスチョン

• RQ1 生物学的にインスパイアされたスケール不変時系列表現は、深層RNNにおける長距離依存性の学習を改善できるか？
• RQ2 層間にわたる「何を」と「いつ」の情報の分解は、長遅延タスクにおける汎化性と性能向上に寄与するか？
• RQ3 時間遅延が変化する状況下で、DeepSITHはLSTM、LMU、coRNNと比較して、精度と学習安定性において優れているか？
• RQ4 SITHモジュールにおける時間の対数圧縮は、入力シーケンスの時間スケーリングに不変性をもたらすか？
• RQ5 SITHモジュールによる時間分解能の進行的喪失は、現実世界のタスクにおいて学習を妨げるのではなく、むしろ支援する要因となるか？

主な発見

• DeepSITHは、Mackey-Glass時系列予測タスクで、LSTMや他のSOTA RNNを上回る最先端の性能を達成した。
• 追加問題（Adding Problem）において、LSTMとは異なり、全テスト入力遅延で一貫した学習速度と精度を維持した。
• Hateful-8タスクでは、ノイズレベルにかかわらず100％の正確性を達成し、LMUネットワークと同等の性能を示した。
• 対数スケールの時間表現のおかげで、スケーリングされた入力に対しても良好な一般化性能を示した。これは、システムが時間スケーリングに対して平行移動共変性（translation-covariant）を有することを意味する。
• SITHモジュールは、広範な時間スケールにわたる安定した学習を可能にした。遅延が著しく増加しても、性能は依然として頑健であった。
• 深層における「何を」と「いつ」の分解により、浅い層が微細な時間パターンを捉え、深い層が広範な時間スケールを要約することができた。