[論文レビュー] A Qualitative Comparison of CoQA, SQuAD 2.0 and QuAC

Mark Yatskar|arXiv (Cornell University)|Sep 27, 2018

Topic Modeling参考文献 31被引用数 9

ひとこと要約

この論文は、CoQA、SQuAD 2.0、QuACの3つの質問応答データセットを、回答不能な質問、マルチターン対話機能、要約的答えの観点から定性的に比較する。自己注意機構とELMo埋め込みを統合した、統一された抽出型モデルBiDAF++を提案し、CoQAで最先端の結果を達成。直接の転送性は低いが、微調整により他のデータセット間で中程度の転送効果を示す。

ABSTRACT

We compare three new datasets for question answering: SQuAD 2.0, QuAC, and CoQA, along several of their new features: (1) unanswerable questions, (2) multi-turn interactions, and (3) abstractive answers. We show that the datasets provide complementary coverage of the first two aspects, but weak coverage of the third. Because of the datasets' structural similarity, a single extractive model can be easily adapted to any of the datasets and we show improved baseline results on both SQuAD 2.0 and CoQA. Despite the similarity, models trained on one dataset are ineffective on another dataset, but we find moderate performance improvement through pretraining. To encourage cross-evaluation, we release code for conversion between datasets at https://github.com/my89/co-squac .

研究の動機と目的

• CoQA、SQuAD 2.0、QuACにおける回答不能な質問のカバレッジ、マルチターン対話の相互作用、要約的答え生成の観点から、それらを分析・比較すること。
• 構造的類似性があるにもかかわらず、これらの3つのデータセット間での質問応答モデルの転送可能性を評価すること。
• 自己注意機構とELMo埋め込みを備えたBiDAF++を用いて、CoQAにおける性能向上とデータセット間評価のための強固な抽出型ベースラインを確立すること。
• データセット変換ツールを公開し、ベンチマーク間での評価とモデルの汎用性向上を促進すること。

提案手法

• 自己注意機構とELMo文脈化単語埋め込みを統合した統一された抽出型モデル、BiDAF++を、3つのデータセットすべてに適用した。
• 回答不能な質問を処理するため、yes/noまたは回答不能と分類するようにモデルを変更。対話文脈を管理するため、前回の答えスパンを文脈に直接マークした。
• 各データセットで独立にモデルを学習し、他のデータセットからの事前学習を用いて微調整することで、転送性能を評価した。
• 対話モデリングのための2文脈設定を採用。過去の質問-回答ペアをエンコードし、自己注意メカニズムを用いて関連付けた。
• yes/no質問の出力戦略として、抽出スパンではなく「yes」または「no」を返す、根拠スパンに基づく戦略を実装した。
• https://github.com/my89/co-squac に変換ツールを公開し、データセット間評価とモデルの移植性を可能にした。

実験結果

リサーチクエスチョン

• RQ1 CoQA、SQuAD 2.0、QuACは、誤った前提（21.3%）、情報欠如（16.1%）、エンティティの散乱（entity salad）などの原因を含め、回答不能な質問のカバレッジでどのように異なるか？
• RQ2 トピックのシフト、確認質問、トピックへの再帰的対応といった対話機能は、3つのデータセットでどの程度異なっているか？
• RQ3 1つのデータセットで学習したモデルは、他のデータセットにどの程度一般化できるか。また、事前学習がデータセット間性能向上に果たす役割は何か？
• RQ4 QuACとCoQAにおける抽出型性能の上限は何か。要約的答えの精錬によってどれほど向上が達成できるか？
• RQ5 構造的類似性があるにもかかわらず、最小限のアーキテクチャ変更で、1つの抽出型モデルアーキテクチャを3つのデータセットすべてに効果的に適応できるか？

主な発見

• SQuAD 2.0は、誤った前提（21.3%）や情報欠如（16.1%）を含む多様な回答不能な質問タイプをカバーしている。一方、QuACは情報欠如（71.2%）に重点を置き、CoQAは回答不能な質問のカバレッジが極めて少ない（1000問中5問）。
• QuACはトピックシフト頻度（35.4%）が高く、文書カバレッジ（28.4%）が低いのに対し、CoQAは詳細な掘り下げ（72.0%）を重視し、文書カバレッジ（63.3%）も高い。
• BiDAF++はCoQAでF1スコア70.5を達成し、従来の抽出型ベースラインより14.2 F1、要約的ベースラインより2.7 F1高い。
• SQuAD 2.0またはCoQAから事前学習したモデルは、ターゲットデータセットに転送する際、平均して2.1 F1の向上を示し、直接の転送性は低いものの中程度の転送性があることが示された。
• QuACにおける抽出型性能の上限は100 F1、CoQAでは97.8 F1であり、要約的答えの多くが最小限の言い換えやコアリファレンスを含むため、抽出スパンと高い重複があることが示唆された。
• 構造的類似性があるにもかかわらず、微調整なしでは1つのデータセットで学習したモデルは他のデータセットで性能を発揮できない。これは、事前学習やドメイン特化の適応が不可欠であることを示している。