[論文レビュー] CBR-iKB: A Case-Based Reasoning Approach for Question Answering over Incomplete Knowledge Bases

Dung Thai, Srinivas Ravishankar+8 more|arXiv (Cornell University)|Apr 18, 2022

Topic Modeling被引用数 8

ひとこと要約

CBR-iKBは、推論チェーンのk近傍探索と非パrametric推論アルゴリズムを用いて、複数の推論経路をアンサンブルする、不完全な知識ベースにおける質問応答のためのケースベース推論アプローチを提案する。タスク固有のファインチューニングなしで、MetaQAでは100%、WebQSPでは70%の精度を達成し、先行研究の最良手法より22.3%高い性能を発揮する。

ABSTRACT

Knowledge bases (KBs) are often incomplete and constantly changing in practice. Yet, in many question answering applications coupled with knowledge bases, the sparse nature of KBs is often overlooked. To this end, we propose a case-based reasoning approach, CBR-iKB, for knowledge base question answering (KBQA) with incomplete-KB as our main focus. Our method ensembles decisions from multiple reasoning chains with a novel nonparametric reasoning algorithm. By design, CBR-iKB can seamlessly adapt to changes in KBs without any task-specific training or fine-tuning. Our method achieves 100% accuracy on MetaQA and establishes new state-of-the-art on multiple benchmarks. For instance, CBR-iKB achieves an accuracy of 70% on WebQSP under the incomplete-KB setting, outperforming the existing state-of-the-art method by 22.3%.

研究の動機と目的

• 知識ベースが不完全で頻繁に更新される状況における知識ベース質問応答（KBQA）の課題に対処すること。
• 完全なKBに依存し、KBの変更に対してファインチューニングを必要とする既存の教師ありKBQAシステムの限界を克服すること。
• 一部の推論チェーンが欠落したKB事実により適用不能になる場合でも、類似した過去の質問からの複数の妥当な推論経路を活用して、堅牢なQAを実現すること。
• 再トレーニングやファインチューニングなしでKBの更新にスムーズに適応できる非パrametricでインスタンスベースの手法を設計すること。
• 多様な推論経路にわたる意思決定のアンサンブルにより、低リソースおよびスパースなKB環境における一般化性能と耐障害性を向上させること。

提案手法

• 質問とそれに対応する推論チェーン（クエリエンティティから答えへの経路）のケースベースを維持する。
• 新しいクエリに対して、質問の埋め込みに基づきk近傍（k-NN）推論チェーンを密度型リtrieverで検索する。
• 鍵となるKB事実が欠落している状況でも、妥当な推論経路を生成できる、新しい非パrametric推論アルゴリズムを適用する。
• 各推論チェーンが自身の予測する答えにスコアを付与し、最終予測を多数決投票によって決定する投票メカニズムを採用する。
• 推論中に不適切なチェーンをフィルタリングし、チェーンの品質を向上させるために、リビジョンとリテンションのステップを統合する。
• リtrieval段階で質問のエンティティメンションをマスクすることで、近隣の類似性とチェーンの一貫性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 過去の推論経路のk近傍探索を用いたケースベース推論は、不完全な知識ベース環境下でのQAの耐障害性を向上させることができるか？
• RQ2 重要なKB事実が欠落している状況下で、非パrametric推論アルゴリズムが妥当な推論経路を生成する効果はどの程度か？
• RQ3 単一の予測経路に依存するのと比較して、複数の推論経路をアンサンブルすることで、精度がどの程度向上するか？
• RQ4 質問の埋め込みでエンティティメンションをマスクすることで、リtrievalの品質とその後続の推論チェーンの一貫性にどのような影響を与えるか？
• RQ5 低リソースおよび動的変化が激しいKB環境下で、非パrametricでインスタンスベースの手法は、パラメトリックでファインチューニングされたモデルを上回ることができるか？

主な発見

• CBR-iKBは、不完全なKB条件を含むすべてのテスト設定において、MetaQAベンチマークで100%の精度を達成した。
• 半分にサンプリングされたKBを用いたWebQSPでは、CBR-iKBは70%の精度を達成し、前回の最良手法を22.3ポイント上回った。
• リビジョンとリテンションのステップはMetaQAにおいて極めて重要であり、不適切な推論チェーンの99.9%をフィルタリングしたが、開発セットが小さいためWebQSPではそれほど顕著ではなかった。
• 質問の埋め込みでエンティティメンションをマスクすることで、ゴールスタンダード推論チェーンのより一貫性のあるリtrievalが可能になった。
• CBR-iKBは完全なKBを用いたWebQSPでも高い性能を維持し、前回の手法より1.6%および8.3%の向上を示した。これは、KBがスパース化するに従い、テキスト情報の価値が高まることを示唆している。
• この手法は本質的に適応可能である：再トレーニングやファインチューニングなしで、新しいKB事実が自動的に推論経路に統合される。