[論文レビュー] Probabilistic Assumptions Matter: Improved Models for Distantly-Supervised Document-Level Question Answering

Hao Cheng, Ming‐Wei Chang+2 more|arXiv (Cornell University)|May 5, 2020

Topic Modeling参考文献 24被引用数 13

ひとこと要約

本稿では、確率空間、遠隔監視仮定、最適化／推論戦略の相互作用を分析することにより、遠隔監視下でのドキュメントレベルの抽出的質問応答の統一枠組みを提案する。複数の確率的定式化を多目的損失で統合することで、モデルは最先端の性能を達成し、TriviaQA-WikiではF1スコアを4.3ポイント、NarrativeQAの要約ではRouge-Lを1.7ポイント改善した。

ABSTRACT

We address the problem of extractive question answering using document-level distant super-vision, pairing questions and relevant documents with answer strings. We compare previously used probability space and distant super-vision assumptions (assumptions on the correspondence between the weak answer string labels and possible answer mention spans). We show that these assumptions interact, and that different configurations provide complementary benefits. We demonstrate that a multi-objective model can efficiently combine the advantages of multiple assumptions and out-perform the best individual formulation. Our approach outperforms previous state-of-the-art models by 4.3 points in F1 on TriviaQA-Wiki and 1.7 points in Rouge-L on NarrativeQA summaries.

研究の動機と目的

• 異なる確率的仮定（特に確率空間と遠隔監視の解釈）がドキュメントレベルの抽出的QAにおけるモデル性能に与える影響を調査すること。
• 確率空間（段落レベル対ドキュメントレベルのモデリング）と遠隔監視仮定、最適化／推論手法の相互作用を理解すること。
• 特に、回答文字列集合からのラベルノイズの程度が異なる状況下で、データ依存的な最適な設定を同定すること。
• 複数の確率的定式化の長所を効率的に統合する多目的学習フレームワークを設計すること。
• SQuAD 2.0からのトランスファー学習を統合することで、TriviaQA-WikiおよびNarrativeQAで最先端の性能を達成すること。

提案手法

• 2つの確率空間を形式化する：段落レベル（H2-P）、ここで各段落が独立にスコア付けされ、ドキュメントレベル（H3-D）、ここで回答スパンが複数の段落にわたって合算（和または最大値）される。
• 3つの異なる遠隔監視仮定を導入する：(1) 位置ベース（H1-P）、(2) スパンベース（H2-P）、(3) ドキュメントレベル（H3-D）、それぞれが異なるノイズ特性を持つ回答文字列から可能なメンションスパンにマッピングする。
• 文脈と質問をエンコードするためのBERTベースの統合質問-段落エンコーダーを採用し、定義された確率空間を用いてスパンスコアを算出する。
• 複数の定式化（例：H2-PとH3-D）を同時に最適化する多目的学習目的関数を提案し、補完的な長所を活かせるようにする。
• 最適化にはハードEMと最大尤度推定法（maximum marginal likelihood）を用い、テスト時の予測ではビタビ推論とマージナル推論を評価する。
• SQuAD 2.0からのトランスファー学習を適用し、TriviaQA-WikiおよびNarrativeQAでの性能をさらに向上させる。

実験結果

リサーチクエスチョン

• RQ1 異なる確率空間定式化（段落レベル対ドキュメントレベル）が、ドキュメントレベルQAにおける遠隔監視仮定とどのように相互作用するか？
• RQ2 回答文字列集合 $\mathcal{A}$ のサイズと品質を変化させた場合、異なる確率的仮定下でのモデル性能にどのような影響を与えるか？
• RQ3 多目的学習戦略が複数の確率的定式化を効果的に統合し、個々の設定を上回る性能を達成できるか？
• RQ4 最適化および推論手法（例：ハードEM対最大尤度推定、ビタビ推論対マージナル推論）が、異なるデータ分布において性能に与える影響は？
• RQ5 完全に監視されたデータ（SQuAD 2.0）からのトランスファー学習が、遠隔監視下のドキュメントレベルQAの性能向上にどの程度寄与するか？

主な発見

• ドキュメントレベルの確率空間（H3-D）は、段落レベルのモデリング（H2-P）を著しく上回り、特に回答文字列集合が大きく、または候補スパンが多いノイジーなサブセットにおいて顕著である。
• H3-D定式化は、$\mathcal{Q}^{sl}$サブセット（1つの回答文字列、5つ以上の候補スパン）でF1スコアを2.9ポイント、$\mathcal{Q}^{ll}$（複数の文字列、5つ以上のスパン）で2.1ポイント向上させ、ラベルノイズに対して高いロバストネスを示した。
• H2-PとH3-D定式化を統合した多目的モデルは、以前の最先端手法と比較して、TriviaQA-WikiでF1スコアを4.3ポイント改善し、NarrativeQAの要約ではRouge-Lを1.7ポイント向上させた。
• SQuAD 2.0からのトランスファー学習により、さらに性能が向上し、最終的な最先端のF1スコアは、TriviaQA-Wikiで76.3、NarrativeQAの要約では62.9を達成した。
• 性能向上は特にノイジーなデータサブセットで顕著であり、大規模または不正確な回答文字列集合によって生じるアリヤスや誤ったメンチョンを処理するには、ドキュメントレベルのモデリングが不可欠であることが確認された。