[論文レビュー] KITLM: Domain-Specific Knowledge InTegration into Language Models for Question Answering

Ankush Agarwal, Sakharam Gawade+2 more|arXiv (Cornell University)|Aug 7, 2023

Topic Modeling被引用数 4

ひとこと要約

KITLMは、T5ベースの言語モデルに、新しいファインチューニング目的関数を通じて関連する知識グラフの三項対を統合することにより、分野特化型の質問応答を向上させる知識統合フレームワークを提案する。訓練および推論中に、関連する構造化された知識のみをフィルタリングして統合することで、KITLMはMetaQAおよびAeroQAでGPT-3.5-turboおよびSOTA手法よりも1.5倍以上の正確一致スコアを達成し、モデルサイズと計算コストを削減する。

ABSTRACT

Large language models (LLMs) have demonstrated remarkable performance in a wide range of natural language tasks. However, as these models continue to grow in size, they face significant challenges in terms of computational costs. Additionally, LLMs often lack efficient domain-specific understanding, which is particularly crucial in specialized fields such as aviation and healthcare. To boost the domain-specific understanding, we propose, KITLM, a novel knowledge base integration approach into language model through relevant information infusion. By integrating pertinent knowledge, not only the performance of the language model is greatly enhanced, but the model size requirement is also significantly reduced while achieving comparable performance. Our proposed knowledge-infused model surpasses the performance of both GPT-3.5-turbo and the state-of-the-art knowledge infusion method, SKILL, achieving over 1.5 times improvement in exact match scores on the MetaQA. KITLM showed a similar performance boost in the aviation domain with AeroQA. The drastic performance improvement of KITLM over the existing methods can be attributed to the infusion of relevant knowledge while mitigating noise. In addition, we release two curated datasets to accelerate knowledge infusion research in specialized fields: a) AeroQA, a new benchmark dataset designed for multi-hop question-answering within the aviation domain, and b) Aviation Corpus, a dataset constructed from unstructured text extracted from the National Transportation Safety Board reports. Our research contributes to advancing the field of domain-specific language understanding and showcases the potential of knowledge infusion techniques in improving the performance of language models on question-answering.

研究の動機と目的

• 航空や医療などの専門分野における大規模言語モデル（LLM）の分野特化型理解の限界を解決すること。
• 知識統合のための継続的プレトレーニング手法の高い計算コストと一般化性能の低さを克服すること。
• アーキテクチャの変更なしに構造化された知識を効率的に統合できる軽量で効率的な手法を開発すること。
• 分野特化型知識統合とマルチホップ質問応答に関する研究を支援するように、キュレートされたデータセットを作成すること。
• 小規模な、知識統合済みのモデルが分野特化型QAタスクにおいて大規模LLMを上回ることを実証すること。

提案手法

• 知識グラフ（KG）三項対を自然言語に変換し、訓練および推論の両段階で統合する知識統合目的関数を提案する。
• ColBERTv2を用いて、各質問-回答ペアに対して最も関連性の高いKG三項対を検索・フィルタリングし、ノイズを最小限に抑える。
• 自然言語の質問-回答ペアと注入された自然言語化されたKG三項対の組み合わせを用いて、T5ベースのモデルをファインチューニングする。
• 継続的プレトレーニングの必要性を排除することで、深刻な忘却を回避し、計算オーバーヘッドを削減する。
• Nホップ質問応答タスクに対応するため、N個の関連する三項対を選択し、スケーラブルで効率的な知識統合を可能にする。
• 推論時に動的に関連する三項対を取得・統合することで、知識を推論時に統合し、文脈的に正確な応答を保証する。

Figure 1. The proposed framework, KITLM, is illustrated in the flow diagram. Initially, triples are extracted from knowledge bases like the WikiMovies dataset (Miller et al . , 2016 ) and transformed into verbalized form. Subsequently, ColBERTv2 (Santhanam et al . , 2022 ) is employed to retrieve th

実験結果

リサーチクエスチョン

• RQ1 知識グラフの統合は、大規模LLMと比較して、小規模言語モデルの分野特化型QAにおける性能向上に寄与するか？
• RQ2 提案手法の知識統合方法は、SKILLやGPT-3.5-turboといった既存手法と比較して、マルチホップQAタスクでどのように差をつけるか？
• RQ3 関連するKG三項対のフィルタリングがノイズをどれほど低減させ、モデルの一般化性能を向上させるか？
• RQ4 継続的プレトレーニング手法と比較して、軽量でファインチューニングベースの手法が、効率性と性能の面で優れているか？
• RQ5 航空分野のように、分野特化型知識が極めて重要な分野において、知識統合アプローチはどの程度効果的か？

主な発見

• KITLMは、MetaQAベンチマークにおいてGPT-3.5-turboおよびSOTA手法であるSKILLと比較して、1.5倍以上の正確一致スコアを達成した。
• KITLMは、AeroQAデータセットの1ホップおよびマルチホップ質問の両方でGPT-3およびChatGPTを上回った。GPT-3は1ホップMetaQAで18.73%のEMしか達成できなかった。
• KITLMは2ホップおよび3ホップQAタスクにおいても高い性能を維持し、知識統合による強力な推論能力を示した。
• KITLMは継続的プレトレーニングを排除することで計算コストを削減し、推論時に効率的な三項対のフィルタリングと統合を実施した。
• 注入された知識を用いたファインチューニングにより、小規模モデルが分野特化型QAで大規模LLMを上回る性能を発揮した。これは、知識統合の有効性を示している。
• 公開されたAeroQAデータセットおよびAviationコーパスは、航空分野特化型マルチホップ質問応答および知識統合分野の研究を進める上で貴重なリソースを提供する。