[논문 리뷰] Augmented Large Language Models with Parametric Knowledge Guiding

Ziyang Luo, Can Xu외 6명|arXiv (Cornell University)|2023. 05. 08.

Topic Modeling인용 수 7

한 줄 요약

이 논문은 파arametric Knowledge Guiding (PKG)을 제안하며, 트레이닝 가능한 오픈소스 '화이트박스' 언어 모델을 통합하여 도메인 특화 지식을 통합함으로써 블랙박스 대규모 언어 모델(LLM)의 성능을 향상시키는 프레임워크이다. 이 방법은 원본 LLM의 파라미터를 수정하지 않기 때문에 기밀성과 오프라인 파인튜닝이 가능하며, 표형 질문응답 등 지식 집약적 과제에서 최대 +11.9% 향상된 성능을 기록한다.

ABSTRACT

Large Language Models (LLMs) have significantly advanced natural language processing (NLP) with their impressive language understanding and generation capabilities. However, their performance may be suboptimal for domain-specific tasks that require specialized knowledge due to limited exposure to the related data. Additionally, the lack of transparency of most state-of-the-art (SOTA) LLMs, which can only be accessed via APIs, impedes further fine-tuning with domain custom data. Moreover, providing private data to the LLMs' owner leads to data privacy problems. To address these challenges, we propose the novel Parametric Knowledge Guiding (PKG) framework, which equips LLMs with a knowledge-guiding module to access relevant knowledge without altering the LLMs' parameters. Our PKG is based on open-source "white-box" language models, allowing offline memory of any knowledge that LLMs require. We demonstrate that our PKG framework can enhance the performance of "black-box" LLMs on a range of domain knowledge-intensive tasks that require factual (+7.9%), tabular (+11.9%), medical (+3.0%), and multimodal (+8.1%) knowledge.

연구 동기 및 목표

• 특화된 지식 부족과 투명성 부족으로 인해 블랙박스 LLM이 도메인 특화 과제에서 성능이 떨어지는 문제를 해결한다.
• 도메인 데이터를 사용한 파인튜닝 시 데이터 기밀성 문제를 해결하기 위해, 오프라인으로 파라미터 없이 도메인 특화 지식을 통합할 수 있도록 한다.
• 원본 모델 가중치를 수정하지 않고도 LLM 성능을 향상시켜 모델의 무결성과 보안성을 유지하는 솔루션을 제공한다.
• 검색 기반 방법 대신 파arametric하고 파인튜닝 가능한 지식 생성 모듈을 사용하여 LLM에 효과적인 지식 통합을 가능하게 한다.
• 다양한 지식 집약적 과제, 예를 들어 사실 기반, 표형, 의료, 다중모달 추론 과제에서 프레임워크의 효과성을 입증한다.

제안 방법

• 오픈소스로 공개된 파인튜닝 가능한 LLM(예: LLaMA-7B)을 기반으로 한 파arametric 지식 안내 모듈을 도입하여 '화이트박스' 지식 소스로 활용한다.
• 특정 도메인 과제와 지식 유형에 맞게 지침 파인튜닝을 통해 PKG 모듈을 튜닝한다.
• 입력마다 PKG 모듈이 맥락적으로 관련성이 높은 배경 지식 시퀀스를 생성한다.
• 배경 지식 증강 프롬프팅을 통해 생성된 지식을 타겟 블랙박스 LLM의 입력 프롬프트에 추가로 삽입한다.
• 원본 LLM에서 지식 접근을 분리함으로써 오프라인, 안전하고 사용자 정의 가능한 지식 통합이 가능해진다.
• 모듈러 설계를 통해 PKG 모듈을 별도로 트레이닝한 후, 외부의 어떤 LLM에서도 추론을 안내하는 데 사용할 수 있다.

Figure 1 : A brief introduction of our parametric knowledge guiding framework (PKG) for augmenting "black box" LLMs on domain-specific tasks.

실험 결과

연구 질문

• RQ1 파라미터를 수정하지 않고도 도메인 특화 과제에서 블랙박스 LLM의 성능을 향상시키기 위해 파arametric 지식 생성 모듈을 사용할 수 있는가?
• RQ2 PKG 프레임워크는 사실 기반, 표형, 의료, 다중모달 지식 집약적 과제에서 LLM 성능 향상에 얼마나 효과적인가?
• RQ3 복잡한 지식 통합에서 검색 기반 방법에 비해 튜닝된 오픈소스 '화이트박스' 모델을 사용한 지식 생성이 더 우수한가?
• RQ4 기존 API 기반 파인튜닝에 비해 PKG 프레임워크는 파인튜닝 과정에서 데이터 기밀성을 얼마나 잘 보존하는가?
• RQ5 최소한의 아키텍처 변경으로 다양한 지식 유형과 후행 과제에 대해 PKG 프레임워크가 일반화 가능한가?

주요 결과

• PKG 프레임워크는 사실 기반 지식 과제(FM2)에서 기준 LLM 대비 +7.9% 향상된 성능을 기록한다.
• 표형 지식 과제(NQ-Table)에서는 +11.9% 향상되며, 구조화된 지식 처리에서 뛰어난 성능을 입증한다.
• 의료 QA(MedMC-QA) 과제에서는 +3.0% 성능 향상을 기록하여 전문 분야에서의 효과성을 입증한다.
• 다중모달 추론(ScienceQA) 과제에서는 정확도가 +8.1% 향상되어 다양한 모odal 간의 강건성을 보여준다.
• 원본 LLM에서 지식 접근을 분리함으로써 안전하고 오프라인 파인튜닝이 가능해져 데이터 기밀성 위험을 완화한다.
• 깊이 있는 통합 지식 생성을 활용함으로써 검색 기반 베이스라인에 비해 우수한 성능을 기록한다.

Figure 2 : The knowledge alignment example of the PKG module on the fact-checking task (FM2). The passage behind the "Response" is the background knowledge of the "Input".