[論文レビュー] FastFusionNet: New State-of-the-Art for DAWNBench SQuAD

Felix Wu, Boyi Li+4 more|ArXiv.org|Feb 28, 2019

Topic Modeling参考文献 39被引用数 4

ひとこと要約

FastFusionNet は、SQuAD における読解理解のための計算効率の良い FusionNet の変種を提案する。CoVe 嵪合と BiLSTM を軽量な SRU レイヤーに置き換えることで、高速なトレーニングと推論を実現した。F1 スコアが SOTA に達する一方で、トレーニング時間は 18 分、推論遅延は 7.9ms まで短縮され、DAWNBench SQuAD ベンチマークで史上最快のモデルとなった。

ABSTRACT

In this technical report, we introduce FastFusionNet, an efficient variant of FusionNet [12]. FusionNet is a high performing reading comprehension architecture, which was designed primarily for maximum retrieval accuracy with less regard towards computational requirements. For FastFusionNets we remove the expensive CoVe layers [21] and substitute the BiLSTMs with far more efficient SRU layers [19]. The resulting architecture obtains state-of-the-art results on DAWNBench [5] while achieving the lowest training and inference time on SQuAD [25] to-date. The code is available at https://github.com/felixgwu/FastFusionNet.

研究の動機と目的

• 高精度を最優先とする読解理解モデルにおける計算効率の欠如に対処すること。特に、速度よりも精度に最適化されたモデルの問題を解決すること。
• SQuAD における性能を損なわずに、読解理解モデルのトレーニング時間と推論時間を短縮すること。
• トレーニングおよび推論速度において、DAWNBench SQuAD ベンチマークで SOTA の結果を達成すること。
• CoVe 嵪合と BiLSTM といった計算コストの高いコンponents を、より効率的な代替手段に置き換えることで、FusionNet を最適化すること。
• 精度の著しい低下を伴わずに、効率性の向上を達成できることを示すこと。F1 スコアは、従来の SOTA モデルと同等の水準を維持する。

提案手法

• 高価な文脈的符号化を回避するため、CoVe 嵪合を標準的な事前学習済み単語ベクトルに置き換える。
• 行列乗算と再帰の分離を実現する Simple Recurrent Units (SRUs) を、BiLSTM レイヤーに代わり採用する。
• SRU では、隠れ状態の並列計算を可能にするベクトル和型の再帰構造を採用し、逐次的ボトルネックを軽減する。
• FusionNet と同一のアテンションメカニズムと融合アーキテクチャを維持するが、推論性能は SRU の効率性によって最適化する。
• PyTorch v0.3.1 を使用し、単精度浮動小数点を採用。順序特徴に対して変動ドロップアウトを適用する。
• 60 エポックで早期停止を行う 100 エポックのトレーニングを実施。Adam 最適化法を用い、勾配クリッピングと、先行研究から得た固定ハイパーパramータを適用する。

実験結果

リサーチクエスチョン

• RQ1 高パフォーマンスな読解理解モデルの計算効率を、性能を損なわずに著しく向上させることは可能か？
• RQ2 CoVe と BiLSTM を SRU に置き換えることで、SQuAD におけるトレーニングおよび推論速度にどのような影響を与えるか？
• RQ3 F1 スコアが競争力を持つ一方で、DAWNBench SQuAD ベンチマークでトレーニング速度に SOTA の結果を達成できるか？
• RQ4 特に BERT や BiDAF と比較した場合、アーキテクチャの変更が推論遅延に与える影響は何か？
• RQ5 読解理解のための系列モデルにおいて、アーキテクチャの単純化によってどれほど効率性の向上を達成できるか？

主な発見

• FastFusionNet は、SQuAD 開発セットで 18 分 46 秒（4 エポック）で 75% F1 を達成し、前回の DrQA(ParlAI) リーダー比で 45% の高速化を達成した。
• 1 サンプルの推論遅延を 7.9ms まで短縮し、BERT-base より 2.8 倍、BiDAF より 12.7 倍高速化した。
• F1 スコアが 82.5% と同等のままであるにもかかわらず、元の FusionNet より推論時間で 5.8 倍の高速化を達成した。
• 同じモデルアーキテクチャの下で、1 エポックあたりのトレーニング時間が FusionNet より 2.6 倍高速化された。
• 同等の GPU（V100）を用いた場合、FastFusionNet は DrQA(ParlAI) よりトレーニング時間で 3.1 倍の高速化を達成した。
• 完全なトレーニング後も、F1 スコアが 82.5% を維持し、CoVe を使用しない FusionNet と同等の性能を達成した。