[論文レビュー] Accelerating Real-Time Question Answering via Question Generation

Yuwei Fang, Shuohang Wang+4 more|arXiv (Cornell University)|Sep 10, 2020

Topic Modeling参考文献 46被引用数 10

ひとこと要約

Ocean-Q は、質問生成（QG）モデルを用いて事前に大量の QA ペair を生成することで、リアルタイムの質問応答を高速化する。これにより、リアルタイムでのニューラル符号化を回避し、n-gram マッチングによる即時検索が可能になる。最高の RTQA システムと比較して 4 倍の高速化を達成しつつ、正確性の低下は 3+% にとどまり、計算コストとエネルギー消費を顕著に削減しながらも、競争力のある性能を維持する。

ABSTRACT

Although deep neural networks have achieved tremendous success for question answering (QA), they are still suffering from heavy computational and energy cost for real product deployment. Further, existing QA systems are bottlenecked by the encoding time of real-time questions with neural networks, thus suffering from detectable latency in deployment for large-volume traffic. To reduce the computational cost and accelerate real-time question answering (RTQA) for practical usage, we propose to remove all the neural networks from online QA systems, and present Ocean-Q (an Ocean of Questions), which introduces a new question generation (QG) model to generate a large pool of QA pairs offline, then in real time matches an input question with the candidate QA pool to predict the answer without question encoding. Ocean-Q can be readily deployed in existing distributed database systems or search engine for large-scale query usage, and much greener with no additional cost for maintaining large neural networks. Experiments on SQuAD(-open) and HotpotQA benchmarks demonstrate that Ocean-Q is able to accelerate the fastest state-of-the-art RTQA system by 4X times, with only a 3+% accuracy drop.

研究の動機と目的

• リアルタイムの質問応答（RTQA）システムが質問のリアルタイムでのニューラル符号化に依存することによる高い計算コストと遅延を軽減すること。
• RTQA システムのオンライン推論中に大規模なニューラルネットワークの維持・実行を不要とする。
• 質問生成（QG）を用いて事前に大量の候補 QA ペair を生成することで、推論時に高速なマッチングを実現し、RTQA を高速化すること。
• データ拡張、マルチタスク学習、多様なビームサーチを用いて QG の品質を向上させ、その後続の RTQA 性能を向上させること。
• リアルタイム推論においてニューラルネットワークを一切使用しないオープンドメイン RTQA のための新しいベンチマークを確立すること。

提案手法

• 文書から抽出された回答スパンを用いてトレーニングされたエンドツーエンドの質問生成（QG）モデルを用いて、事前に候補 QA ペair を生成する。
• 文脈からの回答抽出を経て質問生成を行うことで、多様な候補 QA ペair を生成する。
• 最先端の QA モデルを用いた QA ペア検証により、低品質または誤った QA ペアをフィルタリング・修正する。
• オンラインでの質問に対して、事前に生成された QA プールと n-gram の重複度を用いて即時検索を行う。これにより、ニューラル符号化を回避する。
• n-gram マッチングの前に、上位候補 QA ペアを効率的に取得するための二段階ランカーを採用する。
• QG のトレーニング段階でマルチタスク学習と多様なビームサーチを活用し、質問の多様性と品質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 事前に生成された質問生成が、質問応答システムにおけるリアルタイム推論遅延を顕著に短縮できるか？
• RQ2 ニューラルネットワークを一切使用しないオンライン推論パイプラインが、最先端の RTQA モデルと比較して競争力ある正確性を維持できるか？
• RQ3 データ拡張と QG の品質向上が、得られる RTQA システムの性能に与える影響はいかほどか？
• RQ4 リアルタイムでのニューラル符号化を事前に計算された QA マッチングに置き換えた場合、スピードアップと正確性のトレードオフはどのようなものか？
• RQ5 マルチタスク学習と多様なビームサーチでトレーニングされた QG モデルが、より高品質な候補質問を生成し、RTQA 性能を向上させられるか？

主な発見

• Ocean-Q は、SQuAD-Open および HotpotQA ベンチマークで、最高の既存 RTQA システムを 4 倍に高速化しつつ、正確性を 3.0% から 3.8% の範囲で低下させるにとどめる。
• 二段階ランカーにより、1 クエリあたり 200 パaragraph で SQuAD-Open で 83.4% の正確性を達成し、DrQA よりも少ないパラグラフ数で優れた性能（77.8%）を示した。
• 候補回答数を 10 から 100 に増加させたことで、SQuAD では 16.96 点、HotpotQA では 18.85 点の RTQA スコア向上が得られた。
• ビームサイズを 1 から 20 に増加させたことで、SQuAD では 12.02 点、HotpotQA では 11.59 点のスコア向上が見られ、より多様な質問を生成することの利点が裏付けられた。
• QA ペア検証ステップを除外したアブレーション実験では、正確性が 9.46% 低下した。これは、出力品質の向上にこのステップが不可欠であることを確認した。
• ドメイン内データ（DA-sim）を用いたデータ拡張により、SQuAD では 0.83/0.61/0.71、HotpotQA では 2.07/1.61/2.14 の QG メトリクス向上が得られた。一方、多様なデータ（DA-div）は SQuAD でベースラインを下回った。