[論文レビュー] Can Generative Pre-trained Language Models Serve as Knowledge Bases for Closed-book QA?

Cunxiang Wang, Pai Liu+1 more|arXiv (Cornell University)|Jun 3, 2021

Topic Modeling参考文献 21被引用数 4

ひとこと要約

本稿では、BARTのような生成的事前学習言語モデルが、追跡可能な知識ソースを備えた新しいSQuADベースのベンチマークを構築することで、閉形式質問応答のための知識ベースとして機能できるかを調査している。制御された設定下では事実記憶が高水準に達するが、BARTは知識の保持および抽出が不十分なため、閉形式QAにおいて困難を抱える。一方で、事前学習と微調整を分離し、知識の想起を促すプロンプトを用いることで、性能向上の可能性が示唆されている。

ABSTRACT

Recent work has investigated the interesting question using pre-trained language models (PLMs) as knowledge bases for answering open questions. However, existing work is limited in using small benchmarks with high test-train overlaps. We construct a new dataset of closed-book QA using SQuAD, and investigate the performance of BART. Experiments show that it is challenging for BART to remember training facts in high precision, and also challenging to answer closed-book questions even if relevant knowledge is retained. Some promising directions are found, including decoupling the knowledge memorizing process and the QA finetune process, forcing the model to recall relevant knowledge when question answering.

研究の動機と目的

• 生成的事前学習言語モデル（BARTなど）が外部リtrievalなしで閉形式QAの内部知識ベースとして機能できるかどうかを評価すること。
• 従来の研究が高水準のテスト・トレーニング重複を示す小さなベンチマークに依存していたのを改善するため、追跡可能なWikipediaの本文を備えたSQuADを用いた新しいベンチマークを構築すること。
• 閉形式QAにおける2つの主要な課題を分離・分析すること：(1) 事実知識を正確に記憶すること、(2) その知識を検索し、それを質問に応用すること。
• QAの微調整が、事前学習段階で記憶された事実知識の保持に悪影響を及えるかどうかを調査すること。また、代替的な学習戦略が性能向上に寄与するかを検討すること。

提案手法

• SQuADを用いて、各質問がその対応するWikipedia本文とペアにされた、閉形式QA用の新しいベンチマークを構築。知識評価の追跡可能性を可能にする。
• 事実知識記憶の強化を目的として、関連する本文を用いてBARTの言語モデル微調整（LM-fine-tuning）を実施。
• 訓練済みの本文数を変化させながら、モデルが本文から事実的スパンを再構築できるかを測定する「再現タスク」を通じて、知識保持状態を評価。
• LM-fine-tuned BARTモデルに対してQAの微調整を実施し、訓練およびテストの質問が同じ知識に基づく場合でも、下流の閉形式QA性能を評価。
• 推論時における知識抽出を改善するために、関連する本文をテスト時の出力に挿入するなどのデータ拡張技術を検討。
• LM-fine-tuningとQA-fine-tuningを分離する「分離学習戦略」を提案・評価し、タスク固有の適応段階での事実知識保持を維持することを目的とした。

実験結果

リサーチクエスチョン

• RQ1 BARTのような生成的事前学習言語モデルは、言語モデル学習目的で微調整された場合、多様な本文から事実知識を効果的に記憶できるか？
• RQ2 BARTが事実知識の記憶に高い水準を示しても、閉形式QAにおける性能が低下する場合、知識の検索または活用に失敗していると見なせるか？
• RQ3 QAの微調整が、言語モデル微調整段階で記憶された事実知識にどの程度悪影響を及えるか？
• RQ4 関連する本文をテスト入力に挿入するような単純なデータ拡張は、知識の検索支援により閉形式QA性能を向上させられるか？
• RQ5 言語モデル微調整とQA微調整のプロセスを分離することで、事実知識の保持が向上し、QAの正確性が向上するか？

主な発見

• BARTは、テスト・トレーニング重複が高い他のデータセットでは高い性能を示すが、SQuADベースの閉形式QAベンチマークではわずか1.5%の正確度にとどまる。
• 500件の本文で微調整した場合、BARTは必要な事実知識の66%を記憶するが、5,000件で微調整した場合、この数値はわずか4%に低下し、深刻な「崩壊的忘却」の兆候が示された。
• LM-fine-tuningにより多くの事実知識を保持しても、QA微調整後は大多数の閉形式質問に正しく応答できないことが判明し、知識の活用に根本的な困難が存在することが示された。
• QA微調整は、再現タスクにおける事実の想起能力に悪影響を及えることが判明し、タスク固有の適応と事実記憶の間にはトレードオフの関係があると示唆された。
• 関連する本文をテスト入力に挿入することで、BARTの性能が向上し、知識の検索が改善された。これは、外部のプロンプト工学が内部の知識ギャップを補完できることを示している。
• LM-fine-tuningとQA-fine-tuningを分離することで、タスク固有の適応段階でも事実知識の保持が維持され、閉形式QA性能の向上に有望な道筋が示された。