[論文レビュー] Challenges in Generalization in Open Domain Question Answering

Linqing Liu, Patrick Lewis+2 more|arXiv (Cornell University)|Sep 2, 2021

Topic Modeling被引用数 12

ひとこと要約

この論文は、オープンドメイン質問応答（ODQA）における汎化の課題を調査し、未知の質問を3つのタイプに分類する：トレーニングデータとの重複、合成的汎化（comp-gen）、新規エンティティの汎化。強力なモデルでさえ、comp-genおよび新規エンティティの質問では著しく性能を発揮しないことが判明し、それぞれ最大13.1%および5.4%の性能低下を示した。これは、合成的およびエンティティレベルの汎化が、特に非パラメトリックモデルにおいて主要なボトル neck であることを示している。

ABSTRACT

Recent work on Open Domain Question Answering has shown that there is a large discrepancy in model performance between novel test questions and those that largely overlap with training questions. However, it is unclear which aspects of novel questions make them challenging. Drawing upon studies on systematic generalization, we introduce and annotate questions according to three categories that measure different levels and kinds of generalization: training set overlap, compositional generalization (comp-gen), and novel-entity generalization (novel-entity). When evaluating six popular parametric and non-parametric models, we find that for the established Natural Questions and TriviaQA datasets, even the strongest model performance for comp-gen/novel-entity is 13.1/5.4% and 9.6/1.5% lower compared to that for the full test set -- indicating the challenge posed by these types of questions. Furthermore, we show that whilst non-parametric models can handle questions containing novel entities relatively well, they struggle with those requiring compositional generalization. Lastly, we find that key question difficulty factors are: cascading errors from the retrieval component, frequency of question pattern, and frequency of the entity.

研究の動機と目的

• トレーニング時と類似したクエリに対しては強い性能を示すが、未知の質問への汎化に失敗するODQAモデルの理由を理解すること。
• 未知の質問を、重複、合成的汎化（comp-gen）、新規エンティティの汎化という明確な汎化タイプに分解し、失敗モードを特定すること。
• Natural Questions、TriviaQA、WebQuestionsの3つのデータセットにおいて、6つの最先端のパラメトリックおよび非パラメトリックODQAモデルの性能を、これらのカテゴリごとに評価すること。
• リトリーブ品質、質問パターンの頻度、エンティティの頻度といった要因が、汎化性能に与える影響を調査し、根拠を特定すること。
• ODQAにおけるモデルの汎化に障害となる主な要因が、未確認のエンティティか、合成的構造かを特定すること。

提案手法

• テスト質問を3つのカテゴリに分類する手法を提案：(1) 重複（トレーニングデータから言い換えられたもの）、(2) 合成的汎化（既知の事実／構造の新規組み合わせ）、(3) 新規エンティティの汎化（未知のエンティティを含むもの）。
• 質問の原子的要素を特定するために意味的分解を用い、Natural Questions、TriviaQA、WebQuestionsの3つの既存ODQAデータセットを手動でアノテートした。
• パラメトリックおよび非パラメトリックアーキテクチャを含む6つの最近のODQAモデルを、各カテゴリで評価し、性能低下を測定した。
• 質問パターンの頻度とエンティティの頻度がモデルの正確性に与える影響を分析した。その結果、性能と強い相関関係があることが判明した。
• 各カテゴリにおける上位20件のパラグラフリトリーブ精度を測定することで、リトリーブ品質を評価した。その結果、comp-genおよび新規エンティティの質問で一貫した性能不足が明らかになった。
• 未知のエンティティを既知のものに置き換えることで、アブレーションスタディを実施し、エンティティの新規性と合成的複雑さの影響を分離した。

実験結果

リサーチクエスチョン

• RQ1 未知の質問のどの特定の側面がODQAモデルの性能低下を引き起こしているのか？
• RQ2 重複、合成的汎化、新規エンティティの汎化という異なる汎化タイプが、最先端ODQAシステムの性能にどのように影響を与えるか？
• RQ3 低頻度の質問パターンとレアなエンティティが、モデルの失敗にどの程度寄与しているか？
• RQ4 ODQAの汎化において、主なボトル neck は未確認のエンティティか、合成的構造か？
• RQ5 リトリーブ品質は、comp-genおよび新規エンティティの質問における汎化失敗とどの程度相関しているか？

主な発見

• Natural Questionsデータセットにおいて、最も強力なモデルの合成的汎化（comp-gen）における性能は、全テストセットと比べて13.1%低く、新規エンティティの汎化では5.4%低かった。
• TriviaQAでは、comp-genの性能低下が全テストセットと比べて9.6%、新規エンティティの汎化では1.5%であった。これは、汎化ギャップが一貫して存在することを示している。
• 非パラメトリックモデルは新規エンティティの質問には比較的うまく対処できるが、合成的汎化では著しく性能を発揮しない。これは、合成的構造が主な課題であることを示唆している。
• comp-gen質問の性能は、エンティティ頻度と強く負の相関関係にある：質問内のエンティティがレアであるほど、正確性が低下する。
• 上位20件のパラグラフリトリーブ精度は、comp-genおよび新規エンティティのサブセットでともに約75%であり、リトリーブが主要なボトル neck であることを示している。
• 質問とパラグラフ内の未知のエンティティを既知のものに置き換えても、性能は顕著に向上しなかった。これは、根本的な問題がエンティティの新規性ではなく、合成的汎化にあることを示唆している。