[論文レビュー] Learning Dense Representations of Phrases at Scale

Jinhyuk Lee, Mujeen Sung+2 more|arXiv (Cornell University)|Dec 23, 2020

Topic Modeling参考文献 45被引用数 5

ひとこと要約

この論文では、読解タスクからの教師信号を用いてスケールアップ可能なフレーズの密ベクトル表現を学習するDensePhrasesを紹介する。本手法は、事前バッチネガティブ例を含む新しいネガティブサンプリング法とクエリ側のファインチューニングを組み合わせることで強化されている。このアプローチは、リトライバー・リーダー型モデルと同等の性能を達成する一方で、ストレージを80%削減し、CPU上で1秒間に10件以上の質問を処理できる高速な推論を実現した。

ABSTRACT

Open-domain question answering can be reformulated as a phrase retrieval problem, without the need for processing documents on-demand during inference (Seo et al., 2019). However, current phrase retrieval models heavily depend on sparse representations and still underperform retriever-reader approaches. In this work, we show for the first time that we can learn dense representations of phrases alone that achieve much stronger performance in open-domain QA. We present an effective method to learn phrase representations from the supervision of reading comprehension tasks, coupled with novel negative sampling methods. We also propose a query-side fine-tuning strategy, which can support transfer learning and reduce the discrepancy between training and inference. On five popular open-domain QA datasets, our model DensePhrases improves over previous phrase retrieval models by 15%-25% absolute accuracy and matches the performance of state-of-the-art retriever-reader models. Our model is easy to parallelize due to pure dense representations and processes more than 10 questions per second on CPUs. Finally, we directly use our pre-indexed dense phrase representations for two slot filling tasks, showing the promise of utilizing DensePhrases as a dense knowledge base for downstream tasks.

研究の動機と目的

• オープンドメインQAにおけるスパース表現への依存を完全に排除した、完全に密なフレーズ検索システムの開発。
• 読解データセットからの教師信号とデータ拡張を活用して、フレーズ表現学習の向上。
• より良い一般化を実現するため、クエリ側のファインチューニングによりトレーニングと推論の分布シフトを低減。
• CPUハードウェア上で低ストレージかつ高スループットを実現する、効率的かつスケーラブルなフレーズ検索の実現。
• スロットフィリングなどの下流タスクにおける、DensePhrasesの密知識ベースとしての有効性の実証。

提案手法

• 読解データセットの質問・回答ペアを用いた対照的学習によりフレーズエンコーダーを学習し、同じコンテキストからのフレーズレベル表現を抽出する。
• データ拡張と知識蒸留を適用して、1つの文書内でのフレーズ表現の質を向上。
• 事前バッチネガティブを導入し、大規模バッチ学習を必要とせずに、前回のミニバッチからの埋め込みをネガティブ例として用いることで、対照的学習を強化。
• バッチ内ネガティブをベースラインとして用い、ポジティブとネガティブなフレーズの識別を向上。
• クエリ側のファインチューニングを実装し、下流QAデータセットで質問エンコーダーをファインチューニングすることで、クエリ表現を事前にインデックスしたフレーズ表現と一致させる。
• Wikipediaの全フレーズ表現を事前にインデックスし、推論時の効率的な類似度検索を可能にする密ベクトルデータベースに格納。

実験結果

リサーチクエスチョン

• RQ1 スパース検索に依存せずに、完全に密なフレーズ表現がオープンドメインQAで最先端の性能を達成できるか？
• RQ2 特に事前バッチネガティブを含む新しいネガティブサンプリング戦略は、スケールアップしたフレーズ表現学習においてどの程度効果的か？
• RQ3 クエリ側のファインチューニングは、トレーニングと推論の間の分布シフトをどの程度低減させ、ゼロショット一般化を向上させるか？
• RQ4 DensePhrasesは、最小限のファインチューニングでスロットフィリングなどの下流タスクに実用的な密知識ベースとして機能できるか？
• RQ5 スパース表現から密表現に置き換える際の、モデル性能、ストレージ効率、推論速度のトレードオフはいかなるものか？

主な発見

• DensePhrasesは、Natural Questions や SQuAD を含む5つのオープンドメインQAベンチマークで、以前のフレーズ検索モデルを15%–25%の絶対的精度向上で上回った。
• DPR や REALM などの最先端のリトライバー・リーダー型モデルと同等の性能を達成し、Natural Questions では40.9%のEM、SQuAD では38.0%を達成した。
• 英語Wikipediaのストレージが1.5TBから320GBにまで79%削減され、スパース表現の排除に起因する。
• CPU上で1秒間に10件以上の質問を処理でき、高い推論効率を示した。
• クエリ側のファインチューニングにより、モデルがそのデータセットでトレーニングされていなくても、分布外データセット（例：TQA, WQ, TREC）で15%–20%の性能向上が達成された。
• 学習データの5%のみをファインチューニングに使用しても、2つのスロットフィリングタスクで最先端の結果を達成し、DensePhrasesが密知識ベースとしての実用性を示した。