[論文レビュー] Frustratingly Easy Natural Question Answering

Lin Pan, Rishav Chakravarti+6 more|arXiv (Cornell University)|Sep 11, 2019

Topic Modeling参考文献 24被引用数 15

ひとこと要約

この論文は、SQuADで事前学習したBERTを自然質問（NQ）データセットで微調整するという単純な転移学習アプローチが、400万件の追加合成例を用いて訓練された先行SOTAシステムを上回り、NQで最先端の性能を達成することを示している。この手法にデータ拡張およびアンサンブル戦略を組み合わせることで、短い答えタスクで59.71 F1、長い答えタスクで70.84 F1の新たなSOTAを達成した。

ABSTRACT

Existing literature on Question Answering (QA) mostly focuses on algorithmic novelty, data augmentation, or increasingly large pre-trained language models like XLNet and RoBERTa. Additionally, a lot of systems on the QA leaderboards do not have associated research documentation in order to successfully replicate their experiments. In this paper, we outline these algorithmic components such as Attention-over-Attention, coupled with data augmentation and ensembling strategies that have shown to yield state-of-the-art results on benchmark datasets like SQuAD, even achieving super-human performance. Contrary to these prior results, when we evaluate on the recently proposed Natural Questions benchmark dataset, we find that an incredibly simple approach of transfer learning from BERT outperforms the previous state-of-the-art system trained on 4 million more examples than ours by 1.9 F1 points. Adding ensembling strategies further improves that number by 2.3 F1 points.

研究の動機と目的

• BERTからの単純な転移学習が、先行のデータセットよりもバイアスが少ないNatural Questions（NQ）ベンチマークで最先端の性能を達成できるかどうかを調査すること。
• 巨大多数の合成データセットに依存せずに、データ拡張およびアンサンブル戦略の有効性を評価し、MRC性能の向上に寄与するかどうかを検証すること。
• NQでの性能向上を実現する透明性があり再現可能なアンサンブル技術を提供し、先行SOTAシステムにおける文書化の不足を是正すること。
• アルゴリズムの複雑さがSOTA結果に不可欠ではないことを示し、MRC分野におけるモデルおよびデータの肥大化の傾向に挑戦すること。

提案手法

• BERTをSQuAD v2.0で微調整した後、NQデータセットでさらに微調整することで、一般化性能を向上させる転移学習を活用する。
• 微調整中に、文脈的注意メカニズムを強化するため、BERTの上流にAttention-over-Attention（AoA）層を適用する。
• 最終層に依存するのではなく、すべてのBERT層出力の線形結合を用いることで、表現学習を改善する。
• 訓練例のシャッフルを用いたデータ拡張を実装し、モデルの頑健性および一般化性能を向上させる。
• ランダムシードアンサンブル、グリーディサーチ、全探索など、複数のアンサンブル戦略を用いて、多様なモデル設定からの予測を統合する。
• 重複する答えスパンの処理に、max、noisy-or、逆順位和、指数和といった異なる集約戦略を適用する。

実験結果

リサーチクエスチョン

• RQ1 SQuAD v2.0で微調整したBERTからの単純な転移学習戦略が、NQベンチマークでより複雑なモデルを上回ることができるか？
• RQ2 訓練例のシャッフルによるデータ拡張が、合成データを必要とせずにMRC性能を向上させることができるか？
• RQ3 下位の性能を示すモデルを含む多様なモデル設定のアンサンブルが、異なるランダムシードでの最良モデルのみのアンサンブルよりも優れた一般化性能を達成できるか？
• RQ4 NQの短い答えタスクおよび長い答えタスクの両方で、重複する答えスパンの集約戦略としてどの方法が最も高いF1を達成するか？
• RQ5 モデルアーキテクチャおよび事前学習戦略（例：BERT WWM、BERT SSPT）の選択が、NQにおける最終的性能にどの程度影響を及えるか？

主な発見

• SQuAD v2.0で微調整したBERTをNQでさらに微調整する二段階の転移学習アプローチが、短い答えタスクで57.15 F1、長い答えタスクで67.08 F1を達成し、400万件の合成例を用いて訓練された先行SOTAシステムを上回った。
• BERT微調整パイプラインにAttention-over-Attention（AoA）層を追加することで、NQ開発セットにおける短い答えF1が57.22に、長い答えF1が68.24に向上した。
• 異なるランダムシードで訓練した4つのモデルをアンサンブルすることで、短い答えF1が2.59ポイント（56.14から58.73に）、長い答えF1が2.51ポイント（67.10から69.61に）向上した。
• 長く答えタスクのF1を最適化したグリーディサーチによるモデルアンサンブルが、短い答えで59.71 F1、長い答えで70.84 F1を達成し、全探索や他の集約手法を上回った。
• 短い答えにはmax集約、長い答えにはnoisy-or集約を組み合わせた戦略が、開発テストセットで最も高い全体的な性能を示し、短い答えで59.71 F1、長い答えで70.84 F1を達成した。
• 最終的なアンサンブルは、BERT WWM + SQuAD 2 PT + AoA、BERT WWM + SQuAD 2 PT、BERT SSPTの組み合わせであり、NQで新たなSOTAを達成した。これは、多様でやや低い性能のモデルをアンサンブルすることで、全体の性能が向上することを示している。