[論文レビュー] EfficientQA : a RoBERTa Based Phrase-Indexed Question-Answering System

Sofian Chaybouti, Achraf Saghe+1 more|arXiv (Cornell University)|Jan 6, 2021

Topic Modeling参考文献 19被引用数 4

ひとこと要約

EfficientQAは、質問に依存しない候補抽出とシameseネットワーク学習を用いて、質問と答えの候補を共有の高次元ベクトル空間にマッピングするRoBERTaベースのフレーズインデックス型質問応答システムを提案する。これにより、近似最近傍検索が効率的に行える。PIQAベンチマークでは、SOTAを達成し、前例となる手法より正確一致で1.3ポイント、F1スコアで1.4ポイント向上したが、BERT-largeではなくより小さなRoBERTa-baseモデルを用いた。

ABSTRACT

State-of-the-art extractive question-answering models achieve superhuman performances on the SQuAD benchmark. Yet, they are unreasonably heavy and need expensive GPU computing to answer questions in a reasonable time. Thus, they cannot be used in the open-domain question-answering paradigm for real-world queries on hundreds of thousands of documents. In this paper, we explore the possibility of transferring the natural language understanding of language models into dense vectors representing questions and answer candidates to make question-answering compatible with a simple nearest neighbor search task. This new model, which we call EfficientQA, takes advantage of the pair of sequences kind of input of BERT-based models to build meaningful, dense representations of candidate answers. These latter are extracted from the context in a question-agnostic fashion. Our model achieves state-of-the-art results in Phrase-Indexed Question Answering (PIQA), beating the previous state-of-art by 1.3 points in exact-match and 1.4 points in f1-score. These results show that dense vectors can embed rich semantic representations of sequences, although these were built from language models not originally trained for the use case. Thus, to build more resource-efficient NLP systems in the future, training language models better adapted to build dense representations of phrases is one of the possibilities.

研究の動機と目的

• 質問応答のスケーラビリティを向上させるために、高次元ベクトルインデキシングを用いた効率的な推論を可能にする。
• 質問エンコーディングと候補抽出を分離することで、オープンドメインQAにおける効率性を向上させる。
• 事前学習済み言語モデルからの高次元表現が、最近傍検索に適したフレーズレベルの意味を効果的に符号化できることを示す。
• 効率的なフレーズインデックス型モデルと、文脈を考慮した完全な質問応答システムとの性能差を埋める。
• 軽量なインデキシングと推論を可能にすることで、CPUオンリーや低リソース環境へのQAシステムのデプロイを可能にする。

提案手法

• 質問に依存しない方法で、RoBERTaベースのモデルを用いて、開始位置と終了位置を同時に予測するように学習させ、文書から候補を抽出する。
• 質問と候補を同じ高次元ベクトル空間にマップするため、シameseネットワークアーキテクチャを用いる。
• 対照的学習と三重項損失を用いて学習し、質問-回答ペア間の類似度を最大化し、ネガティブペア間の類似度を最小化する。
• すべての候補のベクトルを事前にインデキシングし、コサイン類似度を用いた単純な最近傍検索によりオンライン推論を実現する。
• RoBERTa-baseの文脈的表現を活用し、インデキシング時に質問に依存する微調整を必要としない高品質な高次元ベクトルを生成する。
• 混合精度学習と勾配蓄積を適用し、1枚の24GB GPU上でトレーニング時間とメモリ使用量を削減する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済み言語モデルからの高次元表現が、質問応答における効率的な最近傍検索に適したフレーズレベルの意味を効果的に符号化できるか？
• RQ2 質問に依存しない候補抽出が、インデキシング時に質問の文脈がないにもかかわらず、検索精度を十分に向上させられるか？
• RQ3 最適化された高次元表現学習を用いた場合、より小さなRoBERTa-baseモデルが、大規模なBERT-largeモデルを上回る性能を発揮できるか？
• RQ4 開始位置と終了位置の確率を同時にモデル化することで、独立して予測する手法に比べ、候補の質がどの程度向上するか？
• RQ5 異なる訓練データサイズを持つ言語において、効率的なフレーズインデックス型モデルと完全文脈を考慮したQAモデルとの性能差はどの程度変動するか？

主な発見

• EfficientQAはPIQAベンチマークで74.9%の正確一致と83.1%のF1スコアを達成し、以前のSOTAであるDENSPIをそれぞれ1.3ポイントと1.4ポイント上回った。
• 開始位置と終了位置を同時にモデル化する候補抽出アーキテクチャは、100候補に対して92.3%の正確一致と96.7%のF1スコアを達成し、独立予測ベースライン（ビームサーチを用い、54.1% EM、72.4% F1）を大きく上回った。
• より小さなRoBERTa-baseモデル（125Mパラメータ）を用いているにもかかわらず、より大きなBERT-largeモデル（340Mパラメータ）を用いたDENSPIを上回った。
• FQuADベンチマークでは、フランス語で64.4%の正確一致と76.0%のF1スコアを達成し、微調整済みのCamemBERTモデルと比較して正確一致で13.2ポイント、F1スコアで11.3ポイントの性能差を示しており、低リソース言語における改善の余地があることを示した。
• 混合精度と勾配蓄積を用いて、1枚の24GB GPUで約1週間でトレーニングが可能であり、バッチサイズは32に相当するため、トレーニングリソースの要求が低いことが示された。
• 最近傍検索を用いた効率的な推論が可能となり、オンラインデプロイ時に高価なGPU推論の必要性が低減された。