[논문 리뷰] HuaTuo: Tuning LLaMA Model with Chinese Medical Knowledge

Haochun Wang, Chi Liu외 5명|arXiv (Cornell University)|2023. 04. 14.

Topic Modeling인용 수 94

한 줄 요약

HuaTuo는 CMeKG에서 도출된 지식 기반 지시 데이터로 조정된 LLaMA-7B 기반의 오픈 소스 중국어 생물의학 LLM으로 중국어 의료 QA의 의료 지식 신뢰성을 향상시킵니다.

ABSTRACT

Large Language Models (LLMs), such as the LLaMA model, have demonstrated their effectiveness in various general-domain natural language processing (NLP) tasks. Nevertheless, LLMs have not yet performed optimally in biomedical domain tasks due to the need for medical expertise in the responses. In response to this challenge, we propose HuaTuo, a LLaMA-based model that has been supervised-fine-tuned with generated QA (Question-Answer) instances. The experimental results demonstrate that HuaTuo generates responses that possess more reliable medical knowledge. Our proposed HuaTuo model is accessible at https://github.com/SCIR-HI/Huatuo-Llama-Med-Chinese.

연구 동기 및 목표

• 중국어 맥락에서 생의학 정확성에 대한 일반 도메인 LLM의 격차를 해소한다.
• CMeKG에서 구조화된 및 비구조화된 중국 의학 지식을 활용하여 모델 튜닝을 안내한다.
• 사실적 정확성을 향상시키기 위하여 지식 기반 지시 데이터를 생성하고 감독형 미세 조정을 사용한다.
• 안전성, 사용성, 원활함을 평가하는 도메인 특화 평가 지표(SUS)를 도입한다.

제안 방법

• 기본 모델로 LLaMA-7B를 사용한다.
• 중국 의학 지식 그래프(CMeKG)로부터 구조화된 및 비구조화된 지식을 통합한다.
• 지식 그래프 지식으로부터 감독형 미세 조정을 위한 8,000개가 넘는 지시 데이터 인스턴스를 생성한다.
• 의료 도메인 사실에 맞추기 위해 지시/데이터 기반의 감독형 미세 조정을 수행한다.
• 생물의학 응답의 안전성, 사용성 및 원활함을 평가하기 위해 SUS 지표를 개발하고 활용한다.
• 중국어 생물의학 대화 작업에서 HuaTuo를 기준선인 LLaMA, Alpaca, ChatGLM과 비교한다.

실험 결과

연구 질문

• RQ1 CMeKG 기반 지식의 통합이 중국어 생의학 QA의 의료 지식 사용성을 향상시키는가?
• RQ2 중국어 의학 대화 작업에서 안전성, 사용성, 원활함 면에서 HuaTuo가 LLaMA, Alpaca, ChatGLM과 어떻게 비교되는가?
• RQ3 지식 기반 지시 데이터가 생의학 사실 정확도와 신뢰도에 미치는 영향은 무엇인가?
• RQ4 오픈 소스 중국어 생의학 LLM이 안전성을 해치지 않으면서도 도메인 지식으로 효과적으로 튜닝될 수 있는가?

주요 결과

• HuaTuo는 안전성을 유지하면서 기준선에 비해 의료 도메인 응답의 사용성을 향상시킨다.
• SUS 평가에서 HuaTuo는 2.88 (Safety), 2.12 (Usability), 2.47 (Smoothness)로 Alpaca와 ChatGLM과 근접하거나 사용성 및 원활함에서 추월한다.
• LLaMA는 가장 높은 안전성 점수를 달성하지만 정보성이 덜한 응답을 제공하여 사용성이 낮다.
• HuaTuo는 지식 기반 지시 미세 조정을 통해 더 신뢰할 수 있는 의료 지식을 보여준다.
• 제공된 GitHub 저장소에서 오픈 소스로 모델이 공개된다.
• SUS 기반 평가가 전통적 BLEU/Rouge 지표를 넘어 도메인 관련 평가를 강조한다.