[論文レビュー] Densely Connected Attention Propagation for Reading Comprehension

Yi Tay, Anh Tuan Luu+2 more|arXiv (Cornell University)|Nov 10, 2018

Topic Modeling被引用数 47

ひとこと要約

DecaPropは Bidirectional Attention Connectors を用いてすべての passage-question 層を密に接続し、4つの挑戦的なRCデータセットで最先端の結果を達成し、強力なベースラインを顕著な差で上回る。

ABSTRACT

We propose DecaProp (Densely Connected Attention Propagation), a new densely connected neural architecture for reading comprehension (RC). There are two distinct characteristics of our model. Firstly, our model densely connects all pairwise layers of the network, modeling relationships between passage and query across all hierarchical levels. Secondly, the dense connectors in our network are learned via attention instead of standard residual skip-connectors. To this end, we propose novel Bidirectional Attention Connectors (BAC) for efficiently forging connections throughout the network. We conduct extensive experiments on four challenging RC benchmarks. Our proposed approach achieves state-of-the-art results on all four, outperforming existing baselines by up to $2.6\%-14.2\%$ in absolute F1 score.

研究の動機と目的

• 従来のエンコード-相互作用-予測パイプラインを超えて、RCモデルにおける情報フローをより深く動機づける。
• 階層全体にわたってすべての passage および query 層を結ぶ密に接続されたアーキテクチャを提案する。
• Bidirectional Attention Connectors（BAC）を導入し、注意ベースの圧縮を介して密で効率的な跨層接続を可能にする。
• 密な注意ベースの接続性が複数のRCベンチマークで大きな実証的利得を生み出すことを示す。

提案手法

• BAC を compressed Bi-attention 出力を用いた compact な learnable skip-connector として導入し、G(.) という因子分解機（FM）風のスカラー接続子を生成する。
• 各層が BiRNNs を通して P と Q を伝播し、BAC によって全ての層ペア間で P と Q を密に接続する k 層の DecaEnc を構築する。
• 密に伝搬された表現に対して gating アテンションと gating 自己アテンションから成る DecaCore 相互作用モジュールを使用する。
• すべての BAC 出力をエンコーダ出力と結合させ、回答ポインタのための豊かな多層表現 M を形成する。
• 開始/終了インデックスのクロスエントロピーで学習される2層の BiRNN ベースの回答ポインタ（L(θ) = -log p1 - log p2）。
• 訓練時に GloVe 埋め込みを初期化し、学習中は固定して、標準的な RC 最適化設定でエンドツーエンドに学習する。

実験結果

リサーチクエスチョン

• RQ1 明示的に密な注意ベースの跨層接続は、固定深さの相互作用を超えて情報フローを改善できるか。
• RQ2 パッセージ表現と質問表現の非同期な跨階層接続は、同じ層間の同期的接続より測定可能な利得を生むか。
• RQ3 圧縮型の注意ベース接続子（BAC）が、多数の密な接続を実現する際の計算コストを抑えつつ有効か。
• RQ4 密に接続された注意伝播が、多様なRCベンチマークに与える実証的影響はどの程度か。

主な発見

• DecaPropは4つのRCベンチマーク NewsQA、Quasar-T、SearchQA、NarrativeQA で最先端の結果を達成。
• NewsQA では DecaProp が AMANDA を +4.7 EM、+2.6 F1 で改善し、BiDAF を大きなマージンで上回る（例: +16% EM, +14% F1）。
• Quasar-T では DecaProp が Reinforced Ranker Reader (R3) を +4.4 EM、+6.0 F1 で上回り、BiDAF および GA を大きな差で上回る（>15% F1 ）。
• SearchQA では DecaProp が original 設定で AMANDA を +15.4 EM、+14.2 F1 上回り、全体設定では AQA および R3 に notable margins（+18.1 EM / +18 F1）で勝る。
• NarrativeQA では DecaProp がベースライン系を一貫して上回し、指標ごとに平均約 5% の改善を達成。