[論文レビュー] ChatKBQA: A Generate-then-Retrieve Framework for Knowledge Base Question Answering with Fine-tuned Large Language Models

Haoran Luo, E Haihong+10 more|arXiv (Cornell University)|Oct 13, 2023

Topic Modeling被引用数 6

ひとこと要約

ChatKBQAは、最初に微調整された大規模言語モデル（LLM）である Llama-2 や Baichuan2 を用いて論理形式を生成し、次に非教師付き意味的検索を用いてエンティティおよび関係を検索・置換する、知識ベース質問応答（KBQA）のための新規な「生成後検索」フレームワークを提案する。このアプローチは、従来の「検索後生成」手法と比較して、検索効率を向上させるとともに誤り伝播を低減し、WebQSPおよびComplexWebQuestionsで最先端の性能を達成する。

ABSTRACT

Knowledge Base Question Answering (KBQA) aims to answer natural language questions over large-scale knowledge bases (KBs), which can be summarized into two crucial steps: knowledge retrieval and semantic parsing. However, three core challenges remain: inefficient knowledge retrieval, mistakes of retrieval adversely impacting semantic parsing, and the complexity of previous KBQA methods. To tackle these challenges, we introduce ChatKBQA, a novel and simple generate-then-retrieve KBQA framework, which proposes first generating the logical form with fine-tuned LLMs, then retrieving and replacing entities and relations with an unsupervised retrieval method, to improve both generation and retrieval more directly. Experimental results show that ChatKBQA achieves new state-of-the-art performance on standard KBQA datasets, WebQSP, and CWQ. This work can also be regarded as a new paradigm for combining LLMs with knowledge graphs (KGs) for interpretable and knowledge-required question answering. Our code is publicly available.

研究の動機と目的

• 初期検索に依存する従来のKBQAパイプラインにおける非効率性と誤り伝播を是正すること。
• 論理形式生成と検索を分離することで、マルチステージKBQA処理の複雑さを低減すること。
• 微調整されたオープンソースLLMの推論および生成能力を活用し、より正確な論理形式作成を実現すること。
• 非構造化された自然言語質問ではなく、構造化された論理形式上で検索を実行することで、検索効率を向上させること。
• LLM、チューニング手法、検索モデルを柔軟に交換可能なプラグアンドプレイフレームワークを構築すること。

提案手法

• 質問から論理形式を生成するために、インstructチューニングを用いてオープンソースLLM（例：Llama-2、Baichuan2、ChatGLM2）を微調整する。
• 質問内のエンティティおよび関係をマスクしてスケルトンを生成し、モデルが一貫した論理形式構造を学習できるようにする。
• 推論時にビームサーチを適用し、テスト質問において正解と完全一致する割合が74%に達する候補論理形式を生成する。
• SimCSE、Contriever、またはBM25を用いて非教師付きフレーズレベルの意味的検索を実行し、生成された論理形式内のエンティティおよび関係を検索・置換する。
• 生成された論理形式内のプレースホルダを、検索されたエンティティおよび関係に置き換えることで、有効なSPARQLに類似したクエリを構築する。
• LLM、効率的な微調整手法（LoRA、QLoRA、P-Tuning v2）、検索モデルを交換可能にすることで、プラグアンドプレイ統合をサポートする。

実験結果

リサーチクエスチョン

• RQ1 「生成後検索」フレームワークは、従来の「検索後生成」KBQA手法と比較して、精度および効率の面で優れていると言えるか？
• RQ2 事前に検索に依存せずに、微調整されたLLMが正確な論理形式を生成できる程度はどの程度か？
• RQ3 生成された論理形式上で検索を実行する場合と、元の自然言語質問上で検索を実行する場合とで、検索効率にどのような差が生じるか？
• RQ4 異なるLLM、チューニング戦略、検索モデルに対しても、このフレームワークは高い性能を維持できるか？
• RQ5 プラグアンドプレイ設計により、異なるハードウェアやモデル構成に対しても柔軟かつ拡張可能な展開が可能になるか？

主な発見

• WebQSPベンチマークにおいて、Llama-2-13BをLoRAで微調整し、SimCSEを用いた検索を実行した場合、F1スコア82.6%、Hits@1が85.2%、正解率77.5%という、新たな最先端性能を達成した。
• ComplexWebQuestions（CWQ）データセットでは、Llama-2-13BをLoRAで微調整し、Contrieverを用いた検索により、F1スコア81.5%、Hits@1が83.6%、正解率76.8%を達成した。
• 生成された論理形式の約74%が正解と完全一致しており、エンティティおよび関係をマスクした際には91%以上の割合で正しい構造的フォーマットを保持していた。
• 「生成後検索」設定では検索効率が顕著に向上した：エンティティおよび関係の検索における意味的類似度スコアは、AG-R（生成後）の方がNL-R（自然言語から）よりも一貫して高く、特に関係の検索で顕著だった。
• プラグアンドプレイ設計により、LLMをBaichuan2-7BからLlama-2-13Bに、検索モデルをSimCSEからBM25に交換するなど、柔軟なコンponent置き換えが可能であり、あらゆるバリエーションで高い性能を維持した。
• フレームワークは頑健性と拡張性を示しており、LLMのアップグレード、チューニング手法（例：QLoRA）の変更、検索モデルの改善によっても性能向上が観察された。