[논문 리뷰] JMedLoRA:Medical Domain Adaptation on Japanese Large Language Models using Instruction-tuning

Issey Sukeda, Masahiro Suzuki외 2명|arXiv (Cornell University)|2023. 10. 16.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 LoRA 기반 지시 훈련을 사용하여 대규모 언어 모델을 일본어 의료 도메인에 적응시키는 JMedLoRA를 제안한다. 지시 훈련을 통해 영어 중심의 대규모 모델인 Llama2-70B와 같은 모델을 미세조정하면 일본어 의료 질의 응답 과제에서 성능이 크게 향상되며, 추가 사전 훈련이나 다중 에포크 훈련은 결과를 악화시키는 것으로 나타났다. 이는 임상 현장 적용을 위한 효율적이고 단일 에포크 훈련이 중요함을 시사한다.

ABSTRACT

In the ongoing wave of impact driven by large language models (LLMs) like ChatGPT, the adaptation of LLMs to medical domain has emerged as a crucial research frontier. Since mainstream LLMs tend to be designed for general-purpose applications, constructing a medical LLM through domain adaptation is a huge challenge. While instruction-tuning is used to fine-tune some LLMs, its precise roles in domain adaptation remain unknown. Here we show the contribution of LoRA-based instruction-tuning to performance in Japanese medical question-answering tasks. In doing so, we employ a multifaceted evaluation for multiple-choice questions, including scoring based on "Exact match" and "Gestalt distance" in addition to the conventional accuracy. Our findings suggest that LoRA-based instruction-tuning can partially incorporate domain-specific knowledge into LLMs, with larger models demonstrating more pronounced effects. Furthermore, our results underscore the potential of adapting English-centric models for Japanese applications in domain adaptation, while also highlighting the persisting limitations of Japanese-centric models. This initiative represents a pioneering effort in enabling medical institutions to fine-tune and operate models without relying on external services.

연구 동기 및 목표

• LoRA 기반 지시 훈련이 일본어 LLM에 도메인 특화 의료 지식을 효과적으로 통합할 수 있는지 조사하기 위해.
• 더 큰 영어 중심 모델(예: Llama2-70B)과 더 작은 일본어 중심 모델(예: OpenCALM-7B) 간의 의료 도메인 적응 성능을 비교하기 위해.
• 낮은 데이터 환경에서 추가 사전 훈련과 미세조정 에포크 수가 모델 성능에 미치는 영향을 평가하기 위해.
• 의료 기관이 외부 서비스에 의존하지 않고도 LLM을 미세조정하고 배포할 수 있는 실용적이고 개인정보 보호에 적합한 방법을 개발하기 위해.

제안 방법

• LoRA 및 그 양자화 버전(QLoRA)을 사용하여 OpenCALM-7B와 Llama2-70B-chat-hf를 저차원 적응 기반으로 미세조정하여 파rameter 효율적인 훈련을 수행하였다.
• 훈련용 2,420개 예제와 평가용 50개 예제를 포함하는 맞춤형 일본어 의료 지시 훈련 데이터셋을 구축하였으며, 다중 선택 의료 질문 형식으로 구성하였다.
• 과적합과 관측된 성능 저하를 방지하기 위해 단일 에포크(1,000 스텝)로 지시 훈련을 적용하였다.
• 정확도, 정확도, 정확도 평가 및 어휘 일치 외의 의미적 정확도를 평가하기 위해 Gestalt 거리 지표를 사용하여 다중 평가 지표를 활용하였다.
• 의료 텍스트에 대한 추가 사전 훈련 여부에 따라 모델을 비교한 분석 실험을 수행하였으며, 0-샷 대비 1-샷 추론 성능을 평가하였다.
• 재현성과 임상 기관의 접근성을 확보하기 위해 Hugging Face 호스팅 모델을 사용하고 NVIDIA A100 GPU에서 훈련을 수행하였다.

실험 결과

연구 질문

• RQ1 LoRA 기반 지시 훈련은 일본어 LLM에 도메인 특화 의료 지식을 얼마나 효과적으로 통합할 수 있는가?
• RQ2 더 큰 영어 중심 LLM은 의료 도메인 적응 과제에서 더 작은 일본어 중심 LLM보다 성능이 뛰어나게 되는가?
• RQ3 미세조정 에포크 수를 늘리거나 추가 사전 훈련을 수행하면 의료 질의 응답 과제 성능이 향상되는가?
• RQ4 지시 훈련은 모델의 1-샷 일반화 능력에 어떤 영향을 미치는가? 특히 0-샷 성능과의 비교에서.

주요 결과

• LoRA 기반 지시 훈련은 일본어 의료 질의 응답 과제에서 성능을 크게 향상시키며, Llama2-70B와 같이 더 큰 모델일수록 더 두드러진 성과 향상을 보였다.
• 단일 에포크 지시 훈련(1,000 스텝)은 다중 에포크 훈련보다 더 좋은 결과를 낳으며, 과적합으로 인한 성능 저하를 피할 수 있었다.
• 의료 텍스트에 대한 추가 사전 훈련은 성능 향상에 기여하지 않았고, 특히 데이터가 제한된 환경에서는 성능이 악화될 수 있었다.
• 원본 OpenCALM-7B 모델는 지시 훈련 후 1-샷 추론 능력을 상실한 반면, Llama2-70B는 유지하여 일반화 행동에 있어 핵심적인 차이를 보였다.
• 정확도와 Gestalt 거리 지표는 어휘 일치가 없더라도 의미적으로 정확한 답변을 생성할 수 있음을 드러내었으며, 평가에서 엄격한 일치 기준의 한계를 보여주었다.
• 더 큰 영어 중심 모델을 일본어 의료 적응의 기반 모델로 사용하는 것이 일본어 중심 모델에만 의존하는 것보다 더 효과적이며, 이는 다국어 간 전이 가능성의 잠재력을 시사한다.