[論文レビュー] Make a Choice! Knowledge Base Question Answering with In-Context Learning

Chuanyuan Tan, Yuehe Chen+2 more|arXiv (Cornell University)|May 23, 2023

Topic Modeling被引用数 4

ひとこと要約

本論文は、低リソース設定における一般化を向上させるために、大規模言語モデル（LLMs）を用いた文脈内学習（ICL）を活用する知識ベース質問応答フレームワーク、McL-KBQAを提案する。質問をランクベース手法を用いて複数選択形式に変換し、チェーン・オブ・トゥーク（CoT）プロンプトを用いたICLを適用することで、LLMの予測と既存のKBQA手法を統合戦略で融合し、特にWebQSPおよびGrailQAにおける少サンプル設定で最先端の性能を達成した。

ABSTRACT

Question answering over knowledge bases (KBQA) aims to answer factoid questions with a given knowledge base (KB). Due to the large scale of KB, annotated data is impossible to cover all fact schemas in KB, which poses a challenge to the generalization ability of methods that require a sufficient amount of annotated data. Recently, LLMs have shown strong few-shot performance in many NLP tasks. We expect LLM can help existing methods improve their generalization ability, especially in low-resource situations. In this paper, we present McL-KBQA, a framework that incorporates the few-shot ability of LLM into the KBQA method via ICL-based multiple choice and then improves the effectiveness of the QA tasks. Experimental results on two KBQA datasets demonstrate the competitive performance of McL-KBQA with strong improvements in generalization. We expect to explore a new way to QA tasks from KBQA in conjunction with LLM, how to generate answers normatively and correctly with strong generalization.

研究の動機と目的

• 大規模知識ベースに存在する長尾事実をカバーするのに限られたアノテート済みデータによるKBQAの一般化課題に対処する。
• 低リソース状況下でのKBQA性能を向上させるために、大規模言語モデル（LLMs）の少サンプル推論能力を活用する。
• 直接LLMにプロンプトを提示する際によく見られる幻覚や答え形式の不一致問題を軽減するため、タスクを複数選択形式の選択に再定式化する。
• ランクベースKBQA手法の出力とLLMの予測を統合する結果統合戦略を開発し、全体の正確性を向上させる。
• ICLプロンプト内にチェーン・オブ・トゥーク（CoT）説明を組み込むことで、制約を伴う複雑な質問に対するLLM推論を強化する。

提案手法

• ランクベースKBQA手法が生成する候補論理形式を用いて、ファクトイド質問を複数選択形式に変換する。
• 少数のサンプル例（質問、選択肢、正解、対応する論理形式）をサンプリングすることで、文脈内学習（ICL）プロンプトを構築する。
• 制約情報と質問の答えの種類を抽出するために、ICLをチェーン・オブ・トゥーク（CoT）プロンプトで強化し、推論品質を向上させる。
• 正規表現を用いてLLM出力から選択された選択肢のアルファベットを自動で抽出し、対応する論理形式にマッピングする。
• ランカーの信頼度が低い場合にLLMの予測を選択し、それ以外はランカーの出力をデフォルトとする結果統合戦略を実装する。
• 最終的な論理形式を知識ベースに適用して答えを取得し、両手法の長所を組み合わせる。

実験結果

リサーチクエスチョン

• RQ1 LLMを用いた文脈内学習が、アノテート済みデータが乏しい低リソース設定におけるKBQAの一般化を改善できるか？
• RQ2 ランクベース手法を用いてKBQAを複数選択形式に変換することで、LLMの性能が向上し、幻覚が軽減されるか？
• RQ3 ICLフレームワーク内でのチェーン・オブ・トゥーク（CoT）プロンプトが、LLM推論をどの程度向上させるか？
• RQ4 提案された結果統合戦略は、ランクベース手法とLLMの予測を統合し、全体の正確性を向上させるのにどの程度効果的か？
• RQ5 このフレームワークは、標準的なKBQAベンチマークにおけるさまざまな少サンプルおよびフルショット設定で一貫した性能向上を達成できるか？

主な発見

• WebQSPの5%少サンプル設定において、LLMベースのコンponentがランクベース手法を上回る質問が19.28%にのぼり、相補的な潜在的価値が明確になった。
• 結果統合により、最終出力が両方の個別コンponentを上回る質問の割合が、5%設定で0.61%、フル設定で2.01%向上した。
• チェーン・オブ・トゥーク（CoT）プロンプトはICL性能を一貫して向上させ、CoT設定では93.52%のLLM出力が有効な選択肢のアルファベットに正常に一致した。
• 自動選択肢マッチング手法は、ICLで96.36%、CoTで93.52%の成功確率を達成し、堅牢性を示した。
• LLMが一部のケースで幻覚的または誤った答えを生成する場合でも、統合とCoTによる制約認識推論により、こうした失敗が低減された。
• McL-KBQAはWebQSPおよびGrailQAの両方で競争力ある性能を示し、特に少サンプル条件で顕著な改善を達成した。これは、低リソースKBQAにおける有効性を裏付けた。