[論文レビュー] A BERT Baseline for the Natural Questions

Chris Alberti, Kenton Lee+1 more|arXiv (Cornell University)|Jan 24, 2019

Topic Modeling参考文献 9被引用数 97

ひとこと要約

自然質問(Natural Questions)のためのBERTベースの単一モデルのベースラインで、短い答えと長い答えを同時に予測し、スライディングウィンドウとヌルインスタンスのダウンサンプリングを用いて、以前のベースラインに対するF1スコアを改善する。

ABSTRACT

This technical note describes a new baseline for the Natural Questions. Our model is based on BERT and reduces the gap between the model F1 scores reported in the original dataset paper and the human upper bound by 30% and 50% relative for the long and short answer tasks respectively. This baseline has been submitted to the official NQ leaderboard at ai.google.com/research/NaturalQuestions. Code, preprocessed data and pretrained model are available at https://github.com/google-research/language/tree/master/language/question_answering/bert_joint.

研究の動機と目的

• Natural Questionsをより難易度の高いQAベンチマークとして動機づけ、強力なBERTベースラインを確立する。
• NQにおいて短答えと長答えを同時に予測する単一モデルを開発する。
• データ前処理とサンプリング戦略を通じて訓練の効率と効果を向上させる。
• 以前のNQベースラインより著しい改善を示し、人間の性能の域に迫る。

提案手法

• SQuAD 1.1でファインチューニングされたBERTモデルから初期化する。
• 文書上で512トークンのウィンドウをスライドさせ、ストライド128で訓練インスタンスを作成する。
• null（no-answer）インスタンスを50倍にダウンサンプリングして訓練データのバランスを取る。
• モデルに文書構造を信号するために、原子的マークアップトークン [Paragraph=N], [Table=N], [List=N] を導入する。
• 開始位置、終了位置、回答タイプ（short/long/yes/no/no-answer）を単一モデルで共同に予測する。
• スパンをスコア g(c,s,e) = f_start(s,c) + f_end(e,c) - f_start([CLS],c) - f_end([CLS],c) によってランク付けする。
• 予測を単一の短答に制限し、長答え/ノーアンサーの調整は評価スクリプトに任せる。

実験結果

リサーチクエスチョン

• RQ1 Can a single BERT model jointly predict short and long answers effectively for Natural Questions?
• RQ2 Do windowing, null-downsampling, and structural markup improve QA performance on NQ compared to previous baselines?
• RQ3 What is the impact of training with a joint start/end/type objective on NQ tasks (short/long/yes/no/no-answer)?

主な発見

• The BERT joint model substantially outperforms prior NQ baselines and narrows the gap to the human upper bound by 30% for long answers and 50% for short answers.
• Training uses a balanced mix of non-null and downsampled null instances, enabling effective learning despite many nulls.
• The model achieves strong dev/test F1 gains over baselines such as DocumentQA, DecAtt + DocReader, and prior NQ baselines.
• The approach still leaves a notable headroom (over 20 F1 points) for both long and short answer tasks, indicating room for further improvements.