[論文レビュー] Memory-Efficient Backpropagation Through Time

Audrūnas Gruslys, Rémi Munos+3 more|arXiv (Cornell University)|Jun 10, 2016

Neural Networks and Applications参考文献 11被引用数 51

ひとこと要約

この論文では、再帰的ニューラルネットワークにおける時間による誤差逆伝播（BPTT）におけるメモリ使用量と計算コストの最適なバランスをとる動的計画法に基づくアルゴリズム、BPTT-MSMを提案する。中間状態を知的にキャッシュおよび再計算することで、長さ1000のシーケンスにおいて、標準的なBPTTと比較して最大95％のメモリ使用量削減が可能であり、計算時間はわずか1/3増加にとどまる。これにより、厳しいメモリ制約下でも効率的な学習が可能になる。

ABSTRACT

We propose a novel approach to reduce memory consumption of the backpropagation through time (BPTT) algorithm when training recurrent neural networks (RNNs). Our approach uses dynamic programming to balance a trade-off between caching of intermediate results and recomputation. The algorithm is capable of tightly fitting within almost any user-set memory budget while finding an optimal execution policy minimizing the computational cost. Computational devices have limited memory capacity and maximizing a computational performance given a fixed memory budget is a practical use-case. We provide asymptotic computational upper bounds for various regimes. The algorithm is particularly effective for long sequences. For sequences of length 1000, our algorithm saves 95\% of memory usage while using only one third more time per iteration than the standard BPTT.

研究の動機と目的

• GPUなどのメモリ制約のあるデバイスにおいて、標準的な時間による誤差逆伝播（BPTT）の高いメモリ消費量を解消すること。
• 任意の固定されたユーザー指定メモリ予算に対して、メモリ使用量と計算コストの最適なトレードオフを求める手法を開発すること。
• 任意のメモリ制約にしっかりと適合させることで、長時間シーケンスの効率的学習を可能にし、ヒューリスティックなメモリ節約戦略に依存しないこと。
• 既存のヒューリスティクス（例：Chenの√tアルゴリズム）を上回るメモリ効率を実現する、一般的でアーキテクチャに依存しないソリューションを提供すること。

提案手法

• この手法は、固定されたメモリ予算の下で合計計算コストを最小化するように、中間状態のキャッシュと再計算の最適戦略を動的計画法で計算する。
• 各状態がキャッシュされるか再計算されるかを決定する時間ステップの系列として問題をモデル化し、前方伝搬のオペレーションによってコストを定義する。
• アルゴリズムは、m 個のメモリスロットが利用可能な状態で、時刻 i から開始してバックプロパゲーションする最小コストを計算するコスト関数 Q_i(t,m) を定義する。
• すべての可能なシーケンスの分割とセグメント間でのメモリ使用量のバランスを考慮する再帰的定式化を採用し、グローバル最適性を保証する。
• 中間状態をキャッシュする数を細かく制御できるため、任意のメモリ予算をサポートする。
• RNNアーキテクチャに依存しない設計であり、標準的なRNN、LSTM、およびその他の再帰的モデルと互換性がある。

実験結果

リサーチクエスチョン

• RQ1 動的計画法を用いたアプローチは、RNNにおけるBPTTのメモリ使用量と計算コストのグローバル最適なトレードオフを達成できるか？
• RQ2 提案手法は、Chenの√tアルゴリズムのようなヒューリスティック手法と比較して、メモリ効率と計算コストの両面で優れているか？
• RQ3 長時間シーケンスにおいて、計算コストの増加を最小限に抑えながら、どの程度までメモリ使用量を削減できるか？
• RQ4 既存のヒューリスティクスがサポートしないメモリ予算に対しても、この手法はユーザー定義のメモリ予算に適合させられるか？

主な発見

• 長さ1000のシーケンスにおいて、提案されたBPTT-MSMアルゴリズムは、標準的なBPTTと比較して95％のメモリ使用量削減を達成し、計算時間はわずか1/3増加にとどまる。
• Chenの√tアプローチが使用するようなメモリ予算に対しても、ほぼ最適な性能を達成するが、はるかに優れたメモリ効率を示す。
• 計算コストを時刻ごとに前方伝搬を2回に固定した場合（Chenの√tアルゴリズムと同一）、提案手法は長時間シーケンスにおいてChen法が要するメモリの50％未満で動作する。
• 特に利益の逓減効果が顕著な領域において、Chenの√tアルゴリズムを上回るメモリ節約効果を示す。これは、任意の任意のメモリ予算を的確にターゲットにできる能力に起因する。
• 動的計画法の定式化により、前提条件の下で最適性が保証される。したがって、Chenのアルゴリズムを含むいかなるヒューリスティック戦略よりも劣らない。
• このアルゴリズムは、さまざまなシーケンス長およびメモリ制約において有効であり、極めて低いメモリ予算でも計算コストの増加はわずかに抑えられる。