[論文レビュー] Phased LSTM: Accelerating Recurrent Network Training for Long or Event-based Sequences

Daniel Neil, Michael Pfeiffer+1 more|arXiv (Cornell University)|Oct 29, 2016

Time Series Analysis and Forecasting参考文献 24被引用数 211

ひとこと要約

Phased LSTM は学習可能なリズム発振器によって制御されるタイムゲートを持つ LSTM を拡張し、疎で不規則な更新と長いまたはイベントベースのシーケンスでの収束を速くする。これにより非同期入力を扱い、実行時計算を削減しつつ、精度を向上させることが多い。

ABSTRACT

Recurrent Neural Networks (RNNs) have become the state-of-the-art choice for extracting patterns from temporal sequences. However, current RNN models are ill-suited to process irregularly sampled data triggered by events generated in continuous time by sensors or other neurons. Such data can occur, for example, when the input comes from novel event-driven artificial sensors that generate sparse, asynchronous streams of events or from multiple conventional sensors with different update intervals. In this work, we introduce the Phased LSTM model, which extends the LSTM unit by adding a new time gate. This gate is controlled by a parametrized oscillation with a frequency range that produces updates of the memory cell only during a small percentage of the cycle. Even with the sparse updates imposed by the oscillation, the Phased LSTM network achieves faster convergence than regular LSTMs on tasks which require learning of long sequences. The model naturally integrates inputs from sensors of arbitrary sampling rates, thereby opening new areas of investigation for processing asynchronous sensory events that carry timing information. It also greatly improves the performance of LSTMs in standard RNN applications, and does so with an order-of-magnitude fewer computes at runtime.

研究の動機と目的

• センサーやニューロンからの不規則にサンプリングされた時系列データからの学習を動機づけ、可能にする。
• 学習可能なタイムゲートを備えた LSTM を拡張し、リズム周期の開相の間のみ更新を許可する。
• 長いシーケンス学習での収束速度と効率性を向上させつつ、精度を犠牲にしない。
• イベントベースのセンサー、マルチレート融合、および非同期データストリームへの適用性を示す。

提案手法

• 周期 τ、開比 r_on、位相 s をパラメトリックな振動で制御されたタイムゲート k_t を LSTM ユニットに追加。
• タイムゲートを φ_t = ((t−s) mod τ)/τ の分岐線形関数として定義し、k_t がアクティブなときのみ更新を可能にする。
• LSTM セルの更新を k_t を含むように書き換え、前 state を更新する場合と保持する場合の間を補間する c_j と h_j の更新を生み出す。
• 学習可能なパラメータには τ と s（周期と位相）を含む。実験では r_on は固定で 0.05。
• k_j が開いているときの不規則な時刻 t_j で更新を許し、非同期にサンプリングされた入力の処理を可能にする。
• このアプローチを学習可能なゲート付きフーリエ様の変換および勾配ショートカットの一形態として解釈する。
• Adam 最適化と Theano/Lasagne フレームワークを用いてタスク横断で訓練する。

実験結果

リサーチクエスチョン

• RQ1 リズム的なタイムゲートは、精度を犠牲にせずに不規則にサンプルされたデータやイベントベースのデータから RNN が学習することを可能にするか。
• RQ2 Phased LSTMs は長いシーケンスやマルチレートセンサデータで、標準の LSTM より収束が速く、ランタイム計算を少なくするか。
• RQ3 開相の周期的な影響（τ、r_on、s）が学習と記憶保持にどう影響するか。
• RQ4 Phased LSTMs は異なるサンプリングレートのセンサ入力（オーディオ/ビデオ）やニューロモルフィック event ストリームからの入力を効果的に融合できるか。
• RQ5 時間ゲートのパラメータを学習するか固定するかが、タスク間の性能に与える影響は何か。

主な発見

• Phased LSTM は標準的なサンプリングと不規則サンプリングの条件の両方で、従来の LSTM が低下する場合でも精度を維持または向上させる。
• ネットワークの更新は開相の間のみ発生し、ランタイムでの更新回数が大幅に減少する（N-MNIST タスクではニューロンあたり平均約5%）。
• 非同期サンプリングおよびマルチ周波数タスクで周波数識別の収束が速く、精度も向上した。
• 長い τ の値は、長いシーケンスを扱う加算タスクで学習を加速し、メモリウィンドウの効果を示唆する。
• N-MNIST では Phased LSTM が BN-LSTM および CNN のベースラインと比較して単一エポックの性能が高く、訓練時間を短縮した。
• GRID データでのリップリーディングは、入力サンプリングに合わせて時刻ゲートを整列させた Phased LSTM を用いることで、より速い収束と競争力のある精度を示した。