[論文レビュー] QANet: Combining Local Convolution with Global Self-Attention for Reading Comprehension

Adams Wei Yu, David Dohan+5 more|arXiv (Cornell University)|Apr 23, 2018

Topic Modeling参考文献 33被引用数 417

ひとこと要約

QANetは完全畳み込みと自己注意に基づくエンコーダを導入し、RNNベースモデルと比較可能な精度を維持しつつ、訓練速度を3x–13x、推論速度を4x–9x向上させ、逆翻訳によるデータ拡張で性能をさらに向上させる。

ABSTRACT

Current end-to-end machine reading and question answering (Q\&A) models are primarily based on recurrent neural networks (RNNs) with attention. Despite their success, these models are often slow for both training and inference due to the sequential nature of RNNs. We propose a new Q\&A architecture called QANet, which does not require recurrent networks: Its encoder consists exclusively of convolution and self-attention, where convolution models local interactions and self-attention models global interactions. On the SQuAD dataset, our model is 3x to 13x faster in training and 4x to 9x faster in inference, while achieving equivalent accuracy to recurrent models. The speed-up gain allows us to train the model with much more data. We hence combine our model with data generated by backtranslation from a neural machine translation model. On the SQuAD dataset, our single model, trained with augmented data, achieves 84.6 F1 score on the test set, which is significantly better than the best published F1 score of 81.8.

研究の動機と目的

• エンコーダから再帰を取り除くことで、より速いエンドツーエンドのQAモデルを動機づける。
• 局所構造の畳み込みとグローバルな相互作用の自己注意を組み合わせたフィードフォワードアーキテクチャを提案する。
• SQuADで競争力のある精度を維持しつつ、RNNベースモデルよりもスピードアップを示す。
• QA性能を向上させる逆翻訳によるデータ拡張を提示する。
• 要素と拡張戦略を正当化するアブレーション研究による分析を提供する。

提案手法

• 単語を固定GloVeベクトルと学習可能な文字埋め込みで埋め込む。
• 埋め込みエンコーダ層は、残差ブロック内の畳み込みの積み重ね、マルチヘッド自己注意、フィードフォワードネットワークで構成する。
• 深さ方向に分離可能畳み込み（カーネルサイズ7）と128の隠れチャネル；自己注意は8つのアテンションヘッド。
• 文脈と質問の相互作用を形成する三線形類似性を用いた文脈-質問アテンション層を適用する。
• 重みを共有する7つのモデルエンコーダブロックを用いたマルチエンコーダ設定を採用し、開始/終了スパンを予測する出力層へ入力する。
• データセットの規模と多様性を高めるため、Backtranslatedパラフレーズ（En-Fr-En、En-De-En）で訓練データを拡張する。

実験結果

リサーチクエスチョン

• RQ1 畳み込みと自己注意のみに依存する非再帰エンコーダは、SQuADにおけるRNNベースのQAモデルと同等またはそれを上回る精度を達成できるか。
• RQ2 QAモデルにおいてRNNを畳み込みと自己注意に置換する際の速度と精度のトレードオフはどうなるか。
• RQ3 逆翻訳によるデータ拡張はSQuADとTriviaQAの性能を大幅に改善するか。
• RQ4 アブレーション（畳み込み、自己注意、分離可能畳み込み）の影響は性能にどう影響するか。
• RQ5 モデルはSQuADの敵対的な拡張例に対して頑健か。

主な発見

モデル	EM	F1	Notes
QANet (dev)	73.6	82.7	元のデータを用いた基本モデル
QANet + data augmentation × 2 (1:1:0)	74.5	83.2	開発セット；拡張が2倍
QANet + data augmentation × 3 (1:1:1)	75.1	83.8	開発セット；拡張が3倍
Test set: QANet + data augmentation × 3	76.2	84.6	最高の単一モデルのテスト性能

• QANetはSQuADで再帰的モデルと比較可能な精度を維持しつつ、訓練速度は3x–13x、推論速度は4x–9xの大幅な向上を提供する。
• 逆翻訳データ拡張を用いると、単一のQANetモデルがSQuADのテストセットで84.6 F1に達し、従来のベストを上回る。
• アブレーションにより、畳み込みエンコーダと自己注意の双方が性能に有意に寄与することが示され、分離可能畳み込みは一般化を改善する。
• データ拡張（×3）は開発セットのEM/F1を75.1/83.8、テストセットのEM/F1を76.2/84.6に向上させ、元データと拡張データの最適なサンプリング比が最良の結果を生む。
• QANetは敵対的なSQuADの例に対して頑健であり、AddSent/AddOneSent攻撃で強力なベースラインに対して競争力のあるF1を達成する。