[論文レビュー] Neural Speed Reading with Structural-Jump-LSTM

Christian Hansen|arXiv (Cornell University)|Mar 20, 2019

Topic Modeling被引用数 16

ひとこと要約

本稿では、動的単語レベルスキップと句読点に基づくジャンプを組み合わせた、計算コストを削減しながら精度を損なわずにFLOP使用量を削減する最初のニューラルスピードリーディングモデルであるStructural-Jump-LSTMを提案する。IMDBおよびDBPediaにおいて、vanilla LSTMsと同等またはそれ以上の精度を維持しながら、最大7.0倍のFLOP削減を達成している。

ABSTRACT

Recurrent neural networks (RNNs) can model natural language by sequentially 'reading' input tokens and outputting a distributed representation of each token. Due to the sequential nature of RNNs, inference time is linearly dependent on the input length, and all inputs are read regardless of their importance. Efforts to speed up this inference, known as 'neural speed reading', either ignore or skim over part of the input. We present Structural-Jump-LSTM: the first neural speed reading model to both skip and jump text during inference. The model consists of a standard LSTM and two agents: one capable of skipping single words when reading, and one capable of exploiting punctuation structure (sub-sentence separators (,:), sentence end symbols (.!?), or end of text markers) to jump ahead after reading a word. A comprehensive experimental evaluation of our model against all five state-of-the-art neural reading models shows that Structural-Jump-LSTM achieves the best overall floating point operations (FLOP) reduction (hence is faster), while keeping the same accuracy or even improving it compared to a vanilla LSTM that reads the whole text.

研究の動機と目的

• 推論時の計算コストを削減するが、モデルの精度を低下させないニューラルスピードリーディングモデルの開発。
• 再帰的ニューラルネットワークにおける単語レベルスキップと構造に配慮したジャンプを両立させる。
• 固定予算やヒューリスティクスではなく、言語的構造（例：句読点）に基づいて、スキップおよびジャンプの位置を動的に決定する。
• 多様なNLPベンチマークにおいて、FLOP削減と精度保持の両面で、既存のスピードリーディングモデルを上回ること。

提案手法

• 2つのエージェントを導入：読了後に単語をスキップするか否かを決定するスイップエージェントと、句読点を用いて次にジャンプする位置を決定するジャンプエージェント。
• 句読点マーカー（例：.!?;,:）を用いて、次なるサブ文区切り、文末、またはテキスト終端への動的間隔のジャンプを定義。
• 標準のLSTMをコアシーケンスエンコーダーとして使用し、スキップされなかった単語のみで状態を更新。
• 強化学習フレームワークを用いてスイップおよびジャンプエージェントを訓練し、精度とFLOP削減の両方を最適化。
• バックプロパゲーション中に離散的決定の処理を行うために、微分可能Gumbel-Softmaxサンプリング戦略を採用。
• スキップまたはジャンプの意思決定を確率的アクションとして扱い、勾配ベース最適化によるエンドツーエンド学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ニューラルスピードリーディングモデルは、構造的ヒント（例：句読点）を用いて、同時に個々の単語をスキップし、重要でないテキストセグメントをジャンプできるか？
• RQ2 単語レベルスキップと句読点に基づくジャンプを組み合わせることで、既存の手法よりも大きなFLOP削減が達成され、かつ精度を維持または向上させられるか？
• RQ3 FLOP削減と精度の観点で、Structural-Jump-LSTMの性能は、最先端のスピードリーディングモデルと比べてどの程度か？
• RQ4 多様なNLPタスク、特にテキストの複雑さや構造が異なるタスクにおいて、モデルは一般化可能か？
• RQ5 固定予算またはブロックベースのジャンプ手法と比較して、動的で構造に基づくジャンプは、学習安定性と推論効率を向上させるか？

主な発見

• Structural-Jump-LSTMは、IMDBおよびDBPediaデータセットにおいて、vanilla LSTMと同等またはそれ以上の精度を維持しながら、最大7.0倍のFLOP削減を達成している。
• AG Newsデータセットでは、FLOPsを2.4倍削減し、vanilla LSTMよりも精度が0.003向上している。
• CBT-NEではFLOPsを4.1倍、CBT-CNでは3.9倍削減しており、それぞれ精度は0.010および0.007向上している。
• IMDBでは70.7%の単語をスキップし、19.7%のテキストをジャンプしており、有効読み込み長が顕著に短縮されている。
• すべてのベンチマークにおいて、Structural-Jump-LSTMは、FLOP削減および精度の両面で、5つの最先端のスピードリーディングモデルをすべて上回っている。
• 言語的構造に基づく動的スキップとジャンプを組み合わせることで、固定予算またはブロックベースのアプローチよりも優れた効率性と有効性が得られることを示している。