[論文レビュー] Parallelizing Linear Recurrent Neural Nets Over Sequence Length.

Éric Martin, Chris Cundy|arXiv (Cornell University)|Feb 15, 2018

Neural Networks and Applications被引用数 12

ひとこと要約

本稿では、系列長にわたる線形的逐次依存性を持つRNNの学習を可能にする並列スキャンアルゴリズムを提案する。これにより、学習および推論で最大9倍の高速化を達成する。また、GILR-LSTMと呼ばれる線形の代替モデルを導入し、最大100万ステップの系列で学習可能なようにする。従来のRNNでは不可能であった。

ABSTRACT

Recurrent neural networks (RNNs) are widely used to model sequential data but their non-linear dependencies between sequence elements prevent parallelizing training over sequence length. We show the training of RNNs with only linear sequential dependencies can be parallelized over the sequence length using the parallel scan algorithm, leading to rapid training on long sequences even with small minibatch size. We develop a parallel linear recurrence CUDA kernel and show that it can be applied to immediately speed up training and inference of several state of the art RNN architectures by up to 9x. We abstract recent work on linear RNNs into a new framework of linear surrogate RNNs and develop a linear surrogate model for the long short-term memory unit, the GILR-LSTM, that utilizes parallel linear recurrence. We extend sequence learning to new extremely long sequence regimes that were previously out of reach by successfully training a GILR-LSTM on a synthetic sequence classification task with a one million timestep dependency.

研究の動機と目的

• 非線形的依存性のため、RNNの学習が系列長にわたって並列化できないという根本的制限を解消すること。
• 従来、計算的に不可能とされてきた極めて長い系列におけるRNNの効率的学習および推論を可能にすること。
• 標準RNNが有する表現能力を保ちつつ並列化を可能にする線形代替RNNのフレームワークを開発すること。
• 新規のGILR-LSTMアーキテクチャを用いて、系列長が100万ステップに達するようなシーケンスモデリングの実用的範囲を拡張すること。

提案手法

• 線形的逐次依存性しか持たないRNNに並列スキャンアルゴリズムを適用し、系列長にわたるデータ並列学習を可能にする。
• 並列線形再帰を効率的に行うCUDAカーネルを実装し、タイムステップにわたる隠れ状態を並列に計算する。
• 最近の線形RNN研究を一般化した線形代替RNNのフレームワークに要約し、線形化されたRNNユニットのモジュラー設計を可能にする。
• GILR-LSTMを設計し、並列線形再帰を用いて長期依存性のモデリングを維持する。
• 並列スキャンカーネルを用いてGILR-LSTMの学習および推論を高速化し、計算時間を著しく削減する。
• スケーラビリティを検証するため、100万ステップの合成系列分類タスクでGILR-LSTMを学習する。

実験結果

リサーチクエスチョン

• RQ1 線形的依存性を持つRNNの学習を、系列長にわたって並列化できるか。これにより、長系列での高速学習が可能になるか。
• RQ2 並列スキャンアルゴリズムは、最先端のRNNアーキテクチャにおいて、学習および推論をどの程度高速化できるか。
• RQ3 GILR-LSTMのような線形代替モデルは、並列化を可能にしつつ、長系列においても性能を維持できるか。
• RQ4 線形再帰に基づくアプローチを用いて、100万ステップの系列におけるRNNの学習が現実可能か。

主な発見

• 並列スキャンアルゴリズムにより、依存性が線形である場合に限り、RNN学習を系列長にわたって完全にデータ並列化できる。
• 提案されたCUDAカーネルにより、複数の最先端RNNアーキテクチャにおいて、学習および推論で最大9倍の高速化を達成した。
• GILR-LSTMモデルは、100万ステップの合成系列分類タスクにおいて、長距離依存性を正しく学習した。
• 線形代替フレームワークにより、従来の実用的限界をはるかに超える長さの系列におけるRNNの効率的かつスケーラブルな学習が可能になった。