[論文レビュー] TIARA: Multi-grained Retrieval for Robust Question Answering over Large Knowledge Bases

Yiheng Shu, Zhiwei Yu+5 more|arXiv (Cornell University)|Oct 24, 2022

Topic Modeling被引用数 9

ひとこと要約

TIARAは、知識ベース質問応答（KBQA）のためのマルチグレインリtrieval拡張フレームワークを提案する。事前学習言語モデル（PLM）を、エンティティ、例示的論理形式、スキーマ項目のリtrievalによって強化することで、意味的接地性と文法的正しさを向上させる。GrailQAでは前人最高のF1スコアを4.1ポイント上回り、WebQuestionsSPでは1.1ポイント上回り、GrailQAにおけるゼロショット一般化では4.7 F1ポイントの向上を達成した。

ABSTRACT

Pre-trained language models (PLMs) have shown their effectiveness in multiple scenarios. However, KBQA remains challenging, especially regarding coverage and generalization settings. This is due to two main factors: i) understanding the semantics of both questions and relevant knowledge from the KB; ii) generating executable logical forms with both semantic and syntactic correctness. In this paper, we present a new KBQA model, TIARA, which addresses those issues by applying multi-grained retrieval to help the PLM focus on the most relevant KB contexts, viz., entities, exemplary logical forms, and schema items. Moreover, constrained decoding is used to control the output space and reduce generation errors. Experiments over important benchmarks demonstrate the effectiveness of our approach. TIARA outperforms previous SOTA, including those using PLMs or oracle entity annotations, by at least 4.1 and 1.1 F1 points on GrailQA and WebQuestionsSP, respectively.

研究の動機と目的

• 大規模で多様な知識ベースの膨大なスケールと多様性に起因する、KBQAにおけるゼロショットおよび構成的一般化の課題に対処する。
• i.i.d.仮定に依存し、未観測のエンティティや関係に対して一般化性能が低い既存のPLMベースのKBQAシステムの限界を克服する。
• 構造化されたKBコンテキストからの意味的および文法的制約を統合することで、論理形式生成のロバスト性と正しさを向上させる。
• エンティティリンク、例示的論理形式リtrieval、スキーマ項目リtrievalを組み合わせることで、より豊かな文脈的監視を提供し、PLMベースのKBQAを強化する。
• KBスキーマ準拠を保証する制約付きデコードを適用することで、論理形式生成エラーを低減する。

提案手法

• 3種類のKBコンテキストを対象としたマルチグレインリtrievalを採用：エンティティ（メンション検出およびリンクによる）、類似質問からの例示的論理形式（ELFs）、関連するスキーマ項目（クラスおよび関係）。
• ゼロショット一般化を向上させるために、メンション検出手法を改善し、曖昧またはレアなメンションに対して特に有効である。
• 例示ベースのリtrievalを活用し、論理形式の構造的および意味的パターンを提供することで、PLMの意味的接地性を向上させ、文法的エラーを低減する。
• 2ホップ関係やエンティティ中心のクエリに限定されない柔軟なスキーマリtrieバルを導入し、より広範な意味的カバレッジを実現する。
• KBスキーマから構築したプレフィックスツリーを用いた制約付きデコードを適用し、出力空間を制限することで、存在しないスキーマ項目や不正な演算子の生成を防止する。
• すべてのリtrievedコンテキストを統合したPLMベースの生成器を構築し、KBに根ざした実行可能な論理形式を生成する。

実験結果

リサーチクエスチョン

• RQ1 エンティティ、例示的論理形式、スキーマ項目のマルチグレインリtrievalは、ゼロショットおよび構成的設定におけるPLMベースのKBQAのロバスト性を向上させるか？
• RQ2 複数のリtrieバル粒度を組み合わせることで、論理形式生成における意味的接地性と文法的正しさはどの程度向上するか？
• RQ3 制約付きデコードは、存在しないスキーマ項目や不正な演算子の生成エラーをどの程度低減するか？
• RQ4 スキーマ項目のリtrievalは、特にマルチホップまたは関数豊富なクエリにおいて、論理形式の列挙の限界を補完できるか？
• RQ5 TIARAの性能は、分布内およびゼロショット評価設定の両方でSOTA手法と比較してどの程度優れているか？

主な発見

• GrailQAでは、前回SOTAを4.1 F1ポイント上回り、ゼロショット一般化において4.7 F1ポイントの向上を達成した。これにより、強力なロバスト性が示された。
• WebQuestionsSPでは、先行SOTA手法を1.1 F1ポイント上回り、多様なベンチマークにおいても有効性が確認された。
• エンティティリtrieバルのエラーが失敗の46％を占めており、メンションの曖昧さや検出の難しさがゼロショット状況における主なボトルネックであることが示された。
• 文法的エラー（26％）の主な原因は、レアな演算子（例：ARGMIN, ARGMAX）や複雑な複数制約クエリであり、PLMの一般化能力の限界を示している。
• 意味的エラー（12％）は、ゼロショットケースで最も顕著で（83.3％のエラーがこれに該当）、正しい項目が未観測の状況でスキーマ項目の誤選択が大きな課題であることが明らかになった。
• 制約付きデコードは、不正な出力を顕著に低減した。事例研究では、正しい項目が存在する状況でも、'resistance_unit'のような存在しないスキーマ項目の生成を防止した。