[論文レビュー] FlexKBQA: A Flexible LLM-Powered Framework for Few-Shot Knowledge Base Question Answering

Zhenyu Li, Sunqi Fan+6 more|arXiv (Cornell University)|Aug 23, 2023

Topic Modeling被引用数 8

ひとこと要約

FlexKBQA は LLM をプログラム翻訳者として活用し、合成データを生成するほか、実行誘導型自己学習と内在的推論を組み合わせて、複数データセットにわたる few-shot KBQA を解決し、最小限の注釈で強力な結果を達成します。

ABSTRACT

Knowledge base question answering (KBQA) is a critical yet challenging task due to the vast number of entities within knowledge bases and the diversity of natural language questions posed by users. Unfortunately, the performance of most KBQA models tends to decline significantly in real-world scenarios where high-quality annotated data is insufficient. To mitigate the burden associated with manual annotation, we introduce FlexKBQA by utilizing Large Language Models (LLMs) as program translators for addressing the challenges inherent in the few-shot KBQA task. Specifically, FlexKBQA leverages automated algorithms to sample diverse programs, such as SPARQL queries, from the knowledge base, which are subsequently converted into natural language questions via LLMs. This synthetic dataset facilitates training a specialized lightweight model for the KB. Additionally, to reduce the barriers of distribution shift between synthetic data and real user questions, FlexKBQA introduces an executionguided self-training method to iterative leverage unlabeled user questions. Furthermore, we explore harnessing the inherent reasoning capability of LLMs to enhance the entire framework. Consequently, FlexKBQA delivers substantial flexibility, encompassing data annotation, deployment, and being domain agnostic. Through extensive experiments on GrailQA, WebQSP, and KQA Pro, we observe that under the few-shot even the more challenging zero-shot scenarios, FlexKBQA achieves impressive results with a few annotations, surpassing all previous baselines and even approaching the performance of supervised models, achieving a remarkable 93% performance relative to the fully-supervised models. We posit that FlexKBQA represents a significant advancement towards exploring better integration of large and lightweight models. The code is open-sourced.

研究の動機と目的

• KBQA における異種の KB スキーマとクエリ言語間のデータ注釈ボトルネックに対処する。
• LLM を活用して KB テンプレートから多様で実行可能なプログラムを生成し、それを自然言語質問へ翻訳する。
• 実行誘導自己学習（EGST）を介して、合成データと実データの分布ギャップを縮める。
• LLM の内在的推論能力を強化して KBQA の性能を向上させる。
• 強力な few-shot 結果を達成する軽量な基盤モデルを用いた、ドメインに依存しないデプロイ可能な KBQA を示す。

提案手法

• テンプレート収集と段階的グラウンディングを通じて実行可能な KB プログラムを生成する自動プログラムサンプリング。
• プログラムを自然言語質問へ翻訳するプログラム翻訳者として LLM を利用する低リソースの翻訳。
• 教師-生徒ループを用いてラベルなしのユーザー質問を反復的に注釈付けするEGST（実行誘導自己学習）とノイズの多い擬似ラベルのフィルタリング。
• セマンティック解析がうまくいかない場合のデータ強化と代替案として、LLM の内部知識を活用する内在的推論の付加。
• 合成データ・少量のラベル付きデータ・ラベルなしのユーザー質問を組み合わせて、KBQA の軽量モデルを訓練する。
• 実装は GrailQA/WebQSP 用の軽量基盤 KBQA モデル（RnG-KBQA）と KQA Pro 用の BART-SPARQL、翻訳には gpt-3.5-turbo を使用。

実験結果

リサーチクエスチョン

• RQ1 LLM をプログラム翻訳者として活用して few-shot KBQA の高品質な合成データを生成する柔軟な KBQA フレームワークは可能か？
• RQ2 EGST は合成データと実際のユーザー質問間の分布シフトを緩和するか？
• RQ3 LLM の内在的推論は特にゼロショット・低リソース設定で KBQA の性能をどの程度向上させるか？
• RQ4 FlexKBQA は限られた注釈で GrailQA/WebQSP/KQA Pro の多様な KB とプログラムタイプ（S-表現、SPARQL）に対してどの程度の性能を示すか？

主な発見

• FlexKBQA は GrailQA、WebQSP、KQA Pro の少数ショットで強力な性能を達成し、ベースラインを上回り、教師ありモデルに近づく。
• GrailQA でのみ25件のラベル付き例でも、FlexKBQA は従来の100-shot 手法を上回り、完全監視付きの性能に近づく（完全監視の約93% 相対）。
• EGST は GrailQA で F1 を 10.3 増、WebQSP で 7.1 増、KQA Pro で 10.2 の精度を示し、分布シフトの緩和効果を実証。
• 内在的推論は追加の利益をもたらし、特にエンティティ連携が欠如し LLM が直接正解を提供できる KQA Pro で顕著。
• FlexKBQA はゼロショットの可能性を示し、注釈データが増えるほど優位性を維持することで、一般化能力とデータ拡張の恩恵を示す。