[論文レビュー] Combining Recurrent, Convolutional, and Continuous-time Models with Linear State-Space Layers

Albert Gu, Isys Johnson+5 more|arXiv (Cornell University)|Oct 26, 2021

Neural Networks and Applications被引用数 143

ひとこと要約

本稿は、長距離の記憶と状態を持つ並列計算を実現する再帰、畳み込み、連続時間モデルを統合する Linear State-Space Layers (LSSLs) を導入し、非常に長い時系列タスクで最先端の結果を達成します。

ABSTRACT

Recurrent neural networks (RNNs), temporal convolutions, and neural differential equations (NDEs) are popular families of deep learning models for time-series data, each with unique strengths and tradeoffs in modeling power and computational efficiency. We introduce a simple sequence model inspired by control systems that generalizes these approaches while addressing their shortcomings. The Linear State-Space Layer (LSSL) maps a sequence $u \\mapsto y$ by simply simulating a linear continuous-time state-space representation $\\dot{x} = Ax + Bu, y = Cx + Du$. Theoretically, we show that LSSL models are closely related to the three aforementioned families of models and inherit their strengths. For example, they generalize convolutions to continuous-time, explain common RNN heuristics, and share features of NDEs such as time-scale adaptation. We then incorporate and generalize recent theory on continuous-time memorization to introduce a trainable subset of structured matrices $A$ that endow LSSLs with long-range memory. Empirically, stacking LSSL layers into a simple deep neural network obtains state-of-the-art results across time series benchmarks for long dependencies in sequential image classification, real-world healthcare regression tasks, and speech. On a difficult speech classification task with length-16000 sequences, LSSL outperforms prior approaches by 24 accuracy points, and even outperforms baselines that use hand-crafted features on 100x shorter sequences.

研究の動機と目的

• 長いシーケンスのために、RNN、CNN、およびニューラル微分方程式の長所を統合した統一的なシーケンスモデルを提案する動機づけ。
• 離散化された線形状態空間系としての Linear State-Space Layers (LSSLs) を定義・分析し、それらが再発的な層や畳み込み層のように振る舞えることを示す。
• HiPPO に基づく構造化 A 行列を用いた連続時間の記憶機構を組み込み、長距離の記憶を可能にする。
• Krylov/FFT 計算を実行可能にする構造化行列を含む、LSSL の効率的な訓練と推論手法を開発する。
• 視覚、医療、音声タスクにまたがる非常に長い系列を含むベンチマークで、LSSLs が最先端の性能を達成することを示す。

提案手法

• LSSL を、dot{x}=Ax+Bu および y=Cx+Du を用いた離散化された線形状態空間モデルとして、シーケンスマップ u(t) -> y(t) として定義する。
• LSSL の三つの視点を示す：再発的（時間方向の状態更新）、畳み込み的（Krylov に類似したカーネル表現）、連続時間（微分方程式）の形。
• 安定な離散時間更新を得るために二次双線形（α=1/2）の離散化を用い、x_t = Ã x_{t-1} + B̄ u_t, y_t = C x_t + D u_t を得る。
• HiPPO ベースのメモリ演算子と構造化 A（LRW/準分離）を活用し、原則的な連続時間の記憶と長距離依存を可能にする。
• 構造化 A 行列を用いた Krylov 関数計算の計算効率の高いアルゴリズムを提案し、ほぼ線形時間と並列化トレーニングを可能にする。
• 正規化と残差接続を組み合わせて深いアーキテクチャとして LSSL 層を積み重ねる。
• Δt（タイムスケール）の学習や構造化 A の重要性を示すアブレーションを提供し、テスト時のタイムスケールの変動への頑健性を実証する。

実験結果

リサーチクエスチョン

• RQ1 単一の線形状態空間フォーマットが、時系列データに対してRNN、CNN、および連続時間モデルの機能をエミュレートし統合できるか？
• RQ2 学習と推論を効率的に保ちつつ、長距離の記憶を可能にするように A と Δt をどのように設計するか？
• RQ3 HiPPO に触発された構造化 A 行列は LSSLs 内で連続時間の記憶を可能にし、長距離依存のモデリングを改善するか？
• RQ4 積み重ねた LSSLs は、非常に長い系列に対して多様な領域（視覚、医療、音声）で最先端の性能を達成するか？

主な発見

• LSSL は畳み込みを連続時間領域へ一般化し、再発的な状態保持推論を提供する。
• HiPPO-構造化 A を用いると、LSSL は長距離依存を記憶し、記憶測度とタイムスケールを学習できる。
• LSSL は連続的画像分類ベンチマーク（例: sequential CIFAR）や長い系列を含む医療回帰タスクで最先端の結果を達成し、RMSE を大幅に低減する。
• 非常に長い音声系列（長さ16000）では、LSSL が従来法を20以上の精度ポイント上回り、手作り特徴量を用いた baselines を上回る。
• 固定または学習可能な Δt によりタイムスケールの適応が可能で、テスト時のシフトへの頑健性を含み、Δt の学習は補完的な利得をもたらす。
• 深いネットワークとして訓練・積層した LSSL は、従来の SOTA モデルよりもパラメータ数を抑えつつ高い性能を発揮する。