[論文レビュー] In Situ Answer Sentence Selection at Web-scale

Zeyu Zhang, Thuy Vu+1 more|arXiv (Cornell University)|Jan 16, 2022

Topic Modeling被引用数 4

ひとこと要約

本稿では、Web規模のオープンドメイン質問応答のための新しいインサイト・アンサー文選択フレームワークPEASIを提案する。このフレームワークは、マルチタスク・トランスフォーマーに基づくモデルを用いて、上位ランク付けされたドキュメントから直接アンサー文を抽出するとともに、ドキュメントを同時に再ランク付けする。提案手法は、80万件を超えるラベル付きドキュメント・センテンスを含む新しい大規模Web由来QAデータセットを用い、最先端のポイントワイズ手法よりも6.51%高い正答率（55.37%）を達成するとともに、推論コストを約80%削減する。

ABSTRACT

Current answer sentence selection (AS2) applied in open-domain question answering (ODQA) selects answers by ranking a large set of possible candidates, i.e., sentences, extracted from the retrieved text. In this paper, we present Passage-based Extracting Answer Sentence In-place (PEASI), a novel design for AS2 optimized for Web-scale setting, that, instead, computes such answer without processing each candidate individually. Specifically, we design a Transformer-based framework that jointly (i) reranks passages retrieved for a question and (ii) identifies a probable answer from the top passages in place. We train PEASI in a multi-task learning framework that encourages feature sharing between the components: passage reranker and passage-based answer sentence extractor. To facilitate our development, we construct a new Web-sourced large-scale QA dataset consisting of 800,000+ labeled passages/sentences for 60,000+ questions. The experiments show that our proposed design effectively outperforms the current state-of-the-art setting for AS2, i.e., a point-wise model for ranking sentences independently, by 6.51% in accuracy, from 48.86% to 55.37%. In addition, PEASI is exceptionally efficient in computing answer sentences, requiring only ~20% inferences compared to the standard setting, i.e., reranking all possible candidates. We believe the release of PEASI, both the dataset and our proposed design, can contribute to advancing the research and development in deploying question answering services at Web scale.

研究の動機と目的

• すべての候補を個別に処理する従来のアンサーレンダリング（AS2）パイプラインにおける非効率性と性能劣化を是正すること。
• ポイントワイズモデリングの限界を克服し、ドキュメントレベルの意味的特徴を無視することで最適でないアンサー選択が生じることを防ぐこと。
• 候補の再ランク付けに必要な推論回数を最小限に抑えることで、Web規模のAS2における計算コストを削減すること。
• Web規模のODQAにおけるドキュメント検索、再ランク付け、アンサーレンダリングの信号を捉えた、大規模でエンドツーエンドのQAデータセット（WQA）を構築すること。
• マルチタスク学習により、ドキュメント再ランク付けとアンサーレンダリングの同時最適化を可能にし、効果性と効率性の両方を向上させること。

提案手法

• 同じ入力ドキュメント上で、ドキュメント再ランク付け器（Pr）とインサイト・アンサーレンダリング抽出器（EASI）を同時に学習するトランスフォーマー基盤のマルチタスク学習フレームワークを設計する。
• 文単位のランク付けではなく、ドキュメント単位での再ランク付けを実施し、評価対象の候補文数を削減する。
• ドキュメントの意味的特徴を活用して、上位ドキュメントから最も確率の高いアンサーレンダリング文を特定するマルチクラスファイアーアーキテクチャを実装する。
• 共有表現を用いてエンドツーエンドで両コンポーネントを訓練し、特徴の共有と共同最適化を促進する。
• CommonCrawlから得た3000万件のドキュメントを含み、6万4千件を超える質問、80万件を超えるラベル付きドキュメント・センテンスを有する大規模なWeb由来QAデータセット（WQA）を構築する。
• ドキュメント再ランク付けに標準的な最適化手法を適用するとともに、正解の可能性が高いドキュメントを優先するようにモデルを特化させる。

実験結果

リサーチクエスチョン

• RQ1 上位ランク付けされたドキュメントから直接アンサーレンダリング文を選択するインサイト・アンサーレンダリング選択は、すべての候補をポイントワイズにランク付けする手法よりも正答率を向上させるか？
• RQ2 アンサーレンダリング選択時にドキュメントレベルの意味的特徴を活用することで、文単位のモデリングに比べて性能が向上するか？
• RQ3 ドキュメント再ランク付けとアンサーレンダリング抽出のマルチタスク学習を統合することで、Web規模のODQAにおける効果性と効率性が向上するか？
• RQ4 すべての候補文に対してポイントワイズの推論を回避することで、計算コストをどの程度削減できるか？
• RQ5 人間がアノテートしたアンサーレンダリング文を含む大規模なWeb由来QAデータセット上で評価された場合、提案されたPEASIフレームワークはどの程度の有効性を示すか？

主な発見

• PEASIは、最先端のポイントワイズモデルと比較して、正答率を6.51%向上させ、48.86%から55.37%に向上させた。
• 標準的なポイントワイズAS2と比較して、推論コストを約81.4%削減し、必要な推論回数はわずか20%程度にまで低下した。
• ドキュメントレベルの文脈を活用することで、文を独立して扱うモデルに比べて優れた性能を示した。
• 3000万件のドキュメントから抽出された80万件を超えるラベル付きドキュメント・センテンスを含む新規のWQAデータセットは、インサイトAS2システムの有効な訓練と評価を可能にした。
• 失敗要因分析の結果、PEASIは「due to」などのフレーズパターンに依存するのではなく、意味的正しさに基づいて選択を行うため、ポイントワイズモデルの一般的な落とし穴を回避していることが示された。
• マルチタスク学習の構成により、ドキュメント再ランク付けとアンサーレンダリング抽出の間で効果的な特徴共有が実現され、全体のシステムの頑健性が向上した。