[논문 리뷰] KITLM: Domain-Specific Knowledge InTegration into Language Models for Question Answering

Ankush Agarwal, Sakharam Gawade외 2명|arXiv (Cornell University)|2023. 08. 07.

Topic Modeling인용 수 4

한 줄 요약

KITLM은 T5 기반 언어 모델에 구조화된 지식 그래프 삼중항을 새로운 미세조정 목적함수를 통해 통합함으로써 도메인 특화 질의응답을 향상시키는 지식 통합 프레임워크를 제안한다. 훈련 및 추론 중에 관련성이 있는 지식 그래프 삼중항만 필터링하고 통합함으로써 KITLM은 MetaQA와 AeroQA에서 GPT-3.5-turbo 및 최신 기술(SOTA) 방법보다 1.5배 이상 높은 정확 일치 점수를 기록하며, 모델 크기와 계산 비용을 줄였다.

ABSTRACT

Large language models (LLMs) have demonstrated remarkable performance in a wide range of natural language tasks. However, as these models continue to grow in size, they face significant challenges in terms of computational costs. Additionally, LLMs often lack efficient domain-specific understanding, which is particularly crucial in specialized fields such as aviation and healthcare. To boost the domain-specific understanding, we propose, KITLM, a novel knowledge base integration approach into language model through relevant information infusion. By integrating pertinent knowledge, not only the performance of the language model is greatly enhanced, but the model size requirement is also significantly reduced while achieving comparable performance. Our proposed knowledge-infused model surpasses the performance of both GPT-3.5-turbo and the state-of-the-art knowledge infusion method, SKILL, achieving over 1.5 times improvement in exact match scores on the MetaQA. KITLM showed a similar performance boost in the aviation domain with AeroQA. The drastic performance improvement of KITLM over the existing methods can be attributed to the infusion of relevant knowledge while mitigating noise. In addition, we release two curated datasets to accelerate knowledge infusion research in specialized fields: a) AeroQA, a new benchmark dataset designed for multi-hop question-answering within the aviation domain, and b) Aviation Corpus, a dataset constructed from unstructured text extracted from the National Transportation Safety Board reports. Our research contributes to advancing the field of domain-specific language understanding and showcases the potential of knowledge infusion techniques in improving the performance of language models on question-answering.

연구 동기 및 목표

• 항공 및 헬스케어와 같은 전문 분야에서 대규모 언어 모델(Langauge Models, LLMs)의 제한된 도메인 특화 이해 능력을 해결한다.
• 지식 통합을 위한 연속적 사전 훈련 방법의 높은 계산 비용과 낮은 일반화 능력 문제를 극복한다.
• 아키텍처 수정 없이도 구조화된 지식을 효율적으로 통합할 수 있는 경량이고 효율적인 방법을 개발한다.
• 도메인 특화 지식 통합 및 다단계 질문응답 연구를 지원하기 위해 코어티드 데이터셋을 구축한다.
• 작은 모델이 지식을 통합한 후 대규모 LLMs를 초월할 수 있음을 입증한다.

제안 방법

• 지식 그래프(KG) 삼중항을 언어화하여 훈련 및 추론 중에 통합하는 지식 통합 목적함수를 제안한다.
• ColBERTv2를 사용하여 각 질문-답변 쌍에 대해 가장 관련성이 높은 KG 삼중항을 검색하고 필터링함으로써 노이즈를 최소화한다.
• 자연어 질문-답변 쌍과 함께 통합된 언어화된 KG 삼중항을 사용하여 T5 기반 모델을 미세조정한다.
• 카오스티크 프리트레인잉( catastrophic forgetting)을 방지하고 계산 오버헤드를 줄이기 위해 연속적 사전 훈련이 필요 없도록 한다.
• N단계 질문응답 작업을 위해 N개의 관련 삼중항을 선택함으로써 확장 가능하고 효율적인 지식 통합을 가능하게 한다.
• 추론 시 동적으로 관련 삼중항을 검색하고 통합함으로써 지식을 실시간으로 통합함으로써 맥락에 맞는 정확한 응답을 보장한다.

Figure 1. The proposed framework, KITLM, is illustrated in the flow diagram. Initially, triples are extracted from knowledge bases like the WikiMovies dataset (Miller et al . , 2016 ) and transformed into verbalized form. Subsequently, ColBERTv2 (Santhanam et al . , 2022 ) is employed to retrieve th

실험 결과

연구 질문

• RQ1 지식 그래프 통합은 대규모 LLMs와 비교해 더 작은 언어 모델의 도메인 특화 질의응답 성능을 향상시킬 수 있는가?
• RQ2 제안된 지식 통합 방법은 SKILL 및 GPT-3.5-turbo와 같은 기존 방법과 비교해 다단계 질문응답 작업에서 어떻게 성능을 냈는가?
• RQ3 관련성이 높은 KG 삼중항을 필터링하는 것이 노이즈를 줄이고 모델의 일반화 능력을 향상시키는 데 얼마나 기여하는가?
• RQ4 경량적이고 미세조정 기반의 방법이 효율성과 성능 측면에서 연속적 사전 훈련 방법을 능가할 수 있는가?
• RQ5 항공 분야처럼 도메인 특화 지식이 핵심적인 전문 분야에서 지식 통합 접근법의 효과는 어떠한가?

주요 결과

• KITLM은 MetaQA 벤치마크에서 GPT-3.5-turbo 및 최신 기술(SOTA) 방법 SKILL보다 1.5배 이상 높은 정확 일치 점수를 기록했다.
• KITLM은 AeroQA 데이터셋의 1단계 및 다단계 질문에서 GPT-3 및 ChatGPT를 모두 능가했으며, GPT-3는 1단계 MetaQA에서 정확 일치 점수 18.73%에 머물렀다.
• KITLM은 2단계 및 3단계 질문응답 작업 전반에서 높은 성능을 유지하며, 지식 통합을 통한 강력한 추론 능력을 입증했다.
• KITLM은 연속적 사전 훈련을 제거함으로써 계산 비용을 줄였으며, 추론 시 효율적인 삼중항 필터링 및 통합을 통해 이를 구현했다.
• 지식을 통합한 미세조정을 통해 더 작은 모델이 도메인 특화 질의응답에서 대규모 LLMs를 초월할 수 있음을 입증하며, 지식 통합의 효과성을 입증했다.
• 공개된 AeroQA 데이터셋과 항공 코퍼스는 항공 분야 특화 다단계 질문응답 및 지식 통합 연구를 발전시키는 데 유용한 자원을 제공한다.