[論文レビュー] Skip RNN: Learning to Skip State Updates in Recurrent Neural Networks

Víctor Campos, Brendan Jou+3 more|arXiv (Cornell University)|Aug 22, 2017

Topic Modeling参考文献 50被引用数 38

ひとこと要約

Skip RNNは、推論中に状態更新をスキップできる学習可能なメカニズムを再帰ニューラルネットワークに導入し、逐次計算を削減するとともに、訓練の効率を向上させる。罰則項を用いて訓練することで、性能を維持または向上させながら更新回数を最小化するようモデルが学習する。

ABSTRACT

Recurrent Neural Networks (RNNs) continue to show outstanding performance in sequence modeling tasks. However, training RNNs on long sequences often face challenges like slow inference, vanishing gradients and difficulty in capturing long term dependencies. In backpropagation through time settings, these issues are tightly coupled with the large, sequential computational graph resulting from unfolding the RNN in time. We introduce the Skip RNN model which extends existing RNN models by learning to skip state updates and shortens the effective size of the computational graph. This model can also be encouraged to perform fewer state updates through a budget constraint. We evaluate the proposed model on various tasks and show how it can reduce the number of required RNN updates while preserving, and sometimes even improving, the performance of the baseline RNN models. Source code is publicly available at https://imatge-upc.github.io/skiprnn-2017-telecombcn/ .

研究の動機と目的

• RNNを用いた長期間のシーケンスモデリングにおいて、推論が遅いことや勾配消失の問題に対処する。
• 状態更新をスキップすることで、有効な計算グラフを短縮し、計算コストを削減するとともに、訓練の安定性を向上させる。
• 追加の教師信号を用いずに、どの時刻ステップで状態更新が必要かを学習することで、RNNにおける適応的計算を可能にする。
• 訓練中に学習可能な罰則項を用いて、計算予算制約に応じて更新回数を制御する。
• 動画理解、言語モデリング、時系列予測を含む多様なシーケンスタスクに一般化できることを示す。

提案手法

• 隠れ状態を更新するか、直前の時刻ステップからのコピーを行うかを決定する学習可能なゲートメカニズムを導入する。
• LSTM や GRU といった既存のRNNアーキテクチャにスイップメカニズムを統合し、内部のゲーティングメカニズムを保持する。
• 勾配逆伝播法（backpropagation through time）を用いて、更新回数を制御するための罰則項（λ）を含む微分可能な損失関数でゲートを訓練する。
• 罰則項λを適用することで、状態更新におけるスパarsityを促進し、計算予算内でのモデル運用を可能にする。
• 推論時に確率的サンプリング戦略を適用し、スイップ確率を学習されたゲートが決定することで、時間軸に沿った条件付き計算を実現する。
• 標準的なRNNの目的関数に従い、スイップゲートを含むすべてのパラメータをバックプロパゲーションにより一括最適化する。

実験結果

リサーチクエスチョン

• RQ1 学習可能なメカニズムにより、シーケンスタスクにおけるRNNの状態更新回数を削減しながら、性能を維持または向上させることができるか？
• RQ2 罰則ハイパーパrameter λ で制御される異なる計算予算下で、Skip RNNモデルはどの程度の性能を示すか？
• RQ3 特に長期依存関係を必要とするタスクにおいて、明示的な教師信号なしに意味のあるスイップパターンを学習できるか？
• RQ4 動画ベースのタスクにおいて、ヒューリスティックなシーケンスサブサンプリングやランダムフレーム選択と比較して、Skip RNNはどのように性能を発揮するか？
• RQ5 Skip RNNは、LSTMとGRUといった異なるRNNアーキテクチャおよびさまざまなシーケンス学習タスクに一般化できるか？

主な発見

• Charades行動局所化タスクにおいて、Skip RNNは標準RNNと同等または優れた性能を達成し、λ = 10⁻³の条件下でmAPが8.61%に達した一方で、状態更新回数は41.9 ± 11.3にまで削減された。
• λ = 10⁻²の条件下では、推論におけるFLOPsが2.66×10¹¹にまで低下し、mAPは7.86%を維持した。これは顕著な計算コストの削減を示している。
• ランダムフレーム選択や固定スイップベースラインと比較して、特に高いスイップ率下でも優れた性能を示しており、タスクに適応したフレーム選択が有効であることが示された。
• 光流出力がなくても、RGBデータからのみの入力で、モデルは関連フレームに注目するよう学習し、平均して41.9回の状態更新で8.61%のmAPを達成した。
• 一部の設定（例：低λにおけるmAP 8.94% vs 8.61%）では、Skip GRUがSkip LSTMを上回った。これは、更新効率に関するアーキテクチャ固有の特性があることを示唆している。
• 最大90%の更新をスキップしても、短い有効なバックプロパゲーションパスのおかげで、安定した訓練と高速な収束を維持した。