[論文レビュー] QANet: Combining Local Convolution with Global Self-Attention for Reading Comprehension

Adams Wei Yu, D. Dohan+5 more|arXiv (Cornell University)|Apr 23, 2018

Topic Modeling被引用数 440

ひとこと要約

QANetは畳み込みと自己注意を用いた前向き伝播アーキテクチャによって再帰型ネットワークを排除し、SQuADで最先端の精度を達成しつつ学習と推論の速度を数倍速く、バック翻訳によるデータ拡張でさらに結果を向上させる。

ABSTRACT

Current end-to-end machine reading and question answering (Q\\&A) models are primarily based on recurrent neural networks (RNNs) with attention. Despite their success, these models are often slow for both training and inference due to the sequential nature of RNNs. We propose a new Q\\&A architecture called QANet, which does not require recurrent networks: Its encoder consists exclusively of convolution and self-attention, where convolution models local interactions and self-attention models global interactions. On the SQuAD dataset, our model is 3x to 13x faster in training and 4x to 9x faster in inference, while achieving equivalent accuracy to recurrent models. The speed-up gain allows us to train the model with much more data. We hence combine our model with data generated by backtranslation from a neural machine translation model. On the SQuAD dataset, our single model, trained with augmented data, achieves 84.6 F1 score on the test set, which is significantly better than the best published F1 score of 81.8.

研究の動機と目的

• 訓練・推論が遅いことのためRNNを避けた高速な読解モデルを動機づける。
• 局所的および全体的なテキスト相互作用を捉えるため、畳み込みと自己注意から構成されるエンコーダーアーキテクチャを提案する。
• 速度向上がSQuADの精度向上のためにより大規模なデータ拡張を可能にすることを示す。

提案手法

• 深さ方向分離可能な畳み込み、マルチヘッド自己注意、残差接続と層正規化を備えたフィードフォワード層からなるエンコーダーブロック。
• 三重対称性の類似度と追加のクエリ対文脈のアテンションを用いたコンテキスト-クエリのアテンション。
• 文脈と質問に対して共有されたエンコーダー重み、7つのモデルエンコーダーブロックと2つの内部エンコーダ畳み込みブロック。
• コンテキスト位置上のソフトマックス分布を用いて開始位置と終了位置を予測する出力層。
• バック翻訳（英語↔フランス語/英語↔ドイツ語）によるデータ拡張で言い換えトレーニング例を作成し、一般化を改善。

実験結果

リサーチクエスチョン

• RQ1 畳み込みと自己注意だけに基づく非再帰型エンコーダーが、RNNベースのモデルと比べてSQuADで競争力のある、またはそれを上回る精度を達成できるか。
• RQ2 精度を損なうことなく、訓練と推論の速度をどれだけ向上させられるか。
• RQ3 バック翻訳ベースのデータ拡張はSQuADのQA性能を改善するか、そしてどのデータ組み合わせが最良の結果を生むか。

主な発見

• QANetはSQuADで再帰モデルと同等の精度を達成しつつ、訓練で3〜13倍、推論で4〜9倍の大幅なスピードアップを提供する。
• SQuADでは、拡張データで訓練した単一のQANetモデルがテストセットで84.6のF1に達し、従来の最高記録を上回る。
• バック翻訳拡張（×3）を用いたモデルが報告された最良の開発/テスト結果をもたらし（例：テストEM/F1 76.2/84.6）。
• アブレーションにより畳み込みまたは自己注意を除くと性能が低下し、局所的とグローバルな相互作用を捉える役割が補完的であることを確認。
• データ拡張は性能を向上させ、元データと拡張データの最適なサンプリング比が顕著な向上をもたらす。