[論文レビュー] Neural Speed Reading via Skim-RNN

Minjoon Seo, Sewon Min+2 more|arXiv (Cornell University)|Nov 6, 2017

Topic Modeling参考文献 19被引用数 54

ひとこと要約

Skim-RNN は、動的に重要でないトークンを小さな RNN を用いてスキムフィードする RNN の一変種であり、推論時の計算を削減しつつ、精度を維持または向上させ、速度を制御可能にし、CPU フレンドリーな待機遅延の利点を提供します。

ABSTRACT

Inspired by the principles of speed reading, we introduce Skim-RNN, a recurrent neural network (RNN) that dynamically decides to update only a small fraction of the hidden state for relatively unimportant input tokens. Skim-RNN gives computational advantage over an RNN that always updates the entire hidden state. Skim-RNN uses the same input and output interfaces as a standard RNN and can be easily used instead of RNNs in existing models. In our experiments, we show that Skim-RNN can achieve significantly reduced computational cost without losing accuracy compared to standard RNNs across five different natural language tasks. In addition, we demonstrate that the trade-off between accuracy and speed of Skim-RNN can be dynamically controlled during inference time in a stable manner. Our analysis also shows that Skim-RNN running on a single CPU offers lower latency compared to standard RNNs on GPUs.

研究の動機と目的

• 重要度の低いトークンにより少ない計算を割り当てるために人間の速読を模倣して効率的な系列処理を動機づける。
• 標準的な RNN と置換可能に使用できる、2パスの RNN（大きな読み取り path と小さなスキム path）を開発する。
• 微分不可能な硬い決定にもかかわらず、微分可能な再パラメータ化を用いてエンドツーエンドでモデルを訓練する。
• 複数の NLP タスクで浮動小数点演算の削減と競争力のある精度を示す。
• 推論時にスキム決定を調整して動的な速度-精度のトレードオフを実現できることを示す。

提案手法

• 同じ隠れ状態を共有する大きな 'read' セルと小さな 'skim' セルの2つのRNNセルを備えた Skim-RNN を導入する。
• 2つの選択肢の多項分布を微分可能な Gumbel-softmax 再パラメータ化を用いて、時刻ごとに 'skim' または 'read' の硬い決定を行う。
• skim が選択された場合、小さな RNN で隠れ状態のサブセットのみを更新し、残りの次元は前の状態から保持する。
• 決定列の期待損失を最小化して訓練し、バックプロパゲーションを可能にするために Gumbel-softmax を用い、さらにスキムを促すペナルティを追加する。
• 訓練中に決定閾値と補助的な skim-penalty 項を調整してスキムレートと速度を制御する。
• Skim-RNN の出力は標準の RNN インタフェースと互換性があり、既存のモデルへの RNN の置換を容易にする。

実験結果

リサーチクエスチョン

• RQ1 Skim-RNN は NLP タスク全般で計算コスト (Flop-R) を削減しつつ、タスク精度を維持または向上させることができるか？
• RQ2 スキム決定はトークンをスキップする場合と比較して性能にどのような影響を与えるか、実践的にはスキミングがスキップを上回ることができるか？
• RQ3 推論時の速度と精度のトレードオフは、訓練や推論を不安定にすることなく制御可能か？
• RQ4 CPU ベースの Skim-RNN は、一般的な NLP ワークロードで GPU ベースの標準 RNN より遅延利得を提供するか？
• RQ5 LSTM-Jump および VCRNN と比較して、テキスト分類および質問応答のベンチマークで Skim-RNN はどのように性能を示すか？

主な発見

• Skim-RNN は、標準の RNN およびいくつかのベースラインと比較して、浮動小数点演算を大幅に削減しつつ、競争力のあるまたは向上した精度を達成する。
• スキム戦略は、トークンのスキップよりも精度と速度のトレードオフをしばしば改善し、重要でないトークンに注意を払う利点を示す。
• 推論時のスキム閾値の制御により、再訓練なしで速度と精度を動的に調整できる。
• CPU ベースの Skim-RNN は、いくつかのデータセットで GPU ベースの標準 RNN より低遅延を提供でき、CPU 指向のデプロイメントに実用的な利点を強調する。
• Skim-RNN は各時刻で出力を維持し、既存の RNN ベースのアーキテクチャへの容易な組み込みを可能にし、設定に応じて数倍のスピードアップを提供する。