[論文レビュー] RnG-KBQA: Generation Augmented Iterative Ranking for Knowledge Base Question Answering

Xi Ye, Semih Yavuz+3 more|arXiv (Cornell University)|Sep 17, 2021

Topic Modeling被引用数 26

ひとこと要約

RnG-KBQAは、KBQAのための生成拡張ランカーを導入し、対照的なBERTベースのランカーとT5ベースのジェネレーターを組み合わせ、GrailQAとWebQSPで最先端の成果を達成し、特にゼロショット/一般化設定で顕著である。

ABSTRACT

Existing KBQA approaches, despite achieving strong performance on i.i.d. test data, often struggle in generalizing to questions involving unseen KB schema items. Prior ranking-based approaches have shown some success in generalization, but suffer from the coverage issue. We present RnG-KBQA, a Rank-and-Generate approach for KBQA, which remedies the coverage issue with a generation model while preserving a strong generalization capability. Our approach first uses a contrastive ranker to rank a set of candidate logical forms obtained by searching over the knowledge graph. It then introduces a tailored generation model conditioned on the question and the top-ranked candidates to compose the final logical form. We achieve new state-of-the-art results on GrailQA and WebQSP datasets. In particular, our method surpasses the prior state-of-the-art by a large margin on the GrailQA leaderboard. In addition, RnG-KBQA outperforms all prior approaches on the popular WebQSP benchmark, even including the ones that use the oracle entity linking. The experimental results demonstrate the effectiveness of the interplay between ranking and generation, which leads to the superior performance of our proposed approach across all settings with especially strong improvements in zero-shot generalization.

研究の動機と目的

• KBQAの一般化のギャップを解消する。特に未知のKBスキーマ項目と構成に対して。
• ランキングと生成を組み合わせてより広い論理形空間をカバーし、ランキングカバレッジの問題を緩和する。
• 事前学習済み言語モデルを活用してKBQAの一般化と解釈性を向上させる。

提案手法

• 二ホップKBパスの探索とs-expressions形式で候補論理形を列挙する。
• 対照的な目的で訓練されたBERTベースのbi-encoderランカーを用い、質問–候補ペアをスコアリングする。
• ランキングを拡張する生成モデル(T5)を用い、質問と上位-k ranked candidatesに条件づけて最終の論理形を生成する。
• 実行可能性を保証するための実行拡張推論を用い、トップ-kで生成された形式から有効な回答を選択する。

実験結果

リサーチクエスチョン

• RQ1 未知のKBスキーマ項目と構成に対して、生成拡張アプローチはKBQAの一般化を改善できるか。
• RQ2 対照的ランカーとジェネレーターの相互作用は、ランキングのみの方法を超えるカバレッジを改善するか。
• RQ3 GrailQAやWebQSPのようなゼロ-shotおよび構成的一般化ベンチマークでモデルはどう機能するか。

主な発見

• RnG-KBQAはGrailQAでEM 68.8およびF1 74.4で新しいSOTAを達成し、従来のSOTAを大幅に上回る。
• RnG-KBQAはWebQSPでもF1約75.7、EM約71.1の報告結果でSOTAを達成。
• 生成コンポーネントはランクのみのベースラインと比較して性能を顕著に向上させ、GrailQAで約5.3のF1、WebQSPで約2.9のF1の向上を識別、アブレーションで確認。
• ランクのためのブートストラップ型対照訓練とエンティティ解像度拡張は一般化と解像度精度の向上に寄与。
• トップランク/生成候補の実行性は高く、推論手順は有効な論理形を堅牢に選択する。