[論文レビュー] Query Refinement Prompts for Closed-Book Long-Form Question Answering

Reinald Kim Amplayo, Kellie Webster+3 more|arXiv (Cornell University)|Oct 31, 2022

Topic Modeling被引用数 5

ひとこと要約

この論文では、大規模言語モデル（LLMs）を用いたFew-shotクローズドブック長文質問応答を向上させるために、クエリの精錬プロンプトを導入する。曖昧さや複数の情報源を含む多面的質問の側面を明示的に特定させることで、LLMsはより包括的で整合性のある回答を生成する。この手法は、オープンブックのretrieve-then-generateモデルと同等の性能を達成し、ASQAおよびAQuAMuSeデータセットにおいて完全に微調整されたクローズドブックモデルを上回る。

ABSTRACT

Large language models (LLMs) have been shown to perform well in answering questions and in producing long-form texts, both in few-shot closed-book settings. While the former can be validated using well-known evaluation metrics, the latter is difficult to evaluate. We resolve the difficulties to evaluate long-form output by doing both tasks at once -- to do question answering that requires long-form answers. Such questions tend to be multifaceted, i.e., they may have ambiguities and/or require information from multiple sources. To this end, we define query refinement prompts that encourage LLMs to explicitly express the multifacetedness in questions and generate long-form answers covering multiple facets of the question. Our experiments on two long-form question answering datasets, ASQA and AQuAMuSe, show that using our prompts allows us to outperform fully finetuned models in the closed book setting, as well as achieve results comparable to retrieve-then-generate open-book models.

研究の動機と目的

• クローズドブック質問応答における長文生成の評価の課題に対処すること。ここでの出力は主観的であり、検証が困難である。
• 曖昧さや複数の情報源からの統合を必要とする多面的質問を明示的にモデル化することで、長文回答の質と完全性を向上させること。
• 複雑な質問を生成する前に、複数の解釈可能な側面に分解するようLLMsを促すプロンプティング戦略を開発すること。
• Few-shotプロンプティングによるクエリの精錬が、完全に微調整されたクローズドブックモデルを上回り、オープンブックのretrieve-then-generateシステムと同等の性能を発揮できることを示すこと。

提案手法

• 質問の複数の側面（例えば、代替解釈やソース依存情報）を特定・明示させるようにLLMsに促すクエリの精錬プロンプトを設計する。
• 多面的性をタイプ（例：曖昧さ、複数情報源）に分類し、多様な質問タイプをカバーするラベル付きの精錬プロンプトセットを構築する。
• 回答生成の前段階として、推論チェーンに類似した中間ステップとしてのクエリ精錬を導入し、複数の解釈や情報源を明確に露わにする。
• PaLM 540BおよびT5モデルを用いて、これらの精錬プロンプトを用いたFew-shotプロンプティングとプロンプトチューニングにより、長文回答を生成する。
• 出力の流暢さにはROUGEを、正しさにはQAEval_rhemeを用い、モデル出力から生成された質問を回答可能かどうか評価する。
• プロンプトチューニング中に、ASQAおよびAQuAMuSeデータセットから動的にエキスナを選択し、質問タイプにわたる汎化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 クエリの精錬プロンプトは、クローズドブックLLMsの質問応答における長文回答の質と完全性を向上させることができるか？
• RQ2 多面的質問の分解を促すプロンプティングは、標準的なFew-shotプロンプティングやプロンプトチューニングと比較して、性能にどのように影響するか？
• RQ3 精錬プロンプトを用いたFew-shotプロンプティングは、完全に微調整されたクローズドブックモデルを上回ることができるか？
• RQ4 精錬プロンプトを用いたクローズドブックプロンプティングは、どの程度オープンブックのretrieve-then-generateモデルと同等の性能に達するか？
• RQ5 動的プロンプト選択中に複数のデータセット（ASQAおよびAQuAMuSe）のエキスナを統合することで、モデルの汎化性能と性能が向上するか？

主な発見

• FewショットプロンプティングにAF（Answer-Faceted）精錬プロンプトを適用した結果、AQuAMuSeでROUGE-Lが32.94、QAEval_rhemeが12.50に向上し、ランダムベースライン（ROUGE-L 28.12、QAEval_rheme 10.26）を顕著に上回った。
• 動的プロンプト選択時にASQAのエキスナを含めることで、AQuAMuSeでのROUGE-Lが33.73、QAEval_rhemeが13.24に向上し、異なるデータセット間での汎化性能が向上した。
• 精錬プロンプトを用いたFew-shotプロンプティングは、完全に微調整されたT5-XLクローズドブックモデル（ROUGE-L 26.17、QAEval_rheme 5.62）を上回った。
• 精錬プロンプトとASQAエキスナを用いたプロンプトチューニングでは、ROUGE-Lが33.30、QAEval_rhemeが11.77に達し、ベースラインのプロンプトチューニングを上回ったが、依然としてオープンブックモデルには及ばなかった。
• ASQAでは、完全に微調整されたクローズドブックモデルを上回り、ROUGEとQAEvalでオープンブックシステムと同等の性能を達成したが、オープンブックモデルは絶対的な性能で依然として優位であった。
• オープンブックのLongT5-XLモデルは、ROUGE-Lが61.43、QAEval_rhemeが39.22を記録し、すべてのクローズドブックシステムを顕著に上回り、リtrievalの利点が顕著に示された。