[논문 리뷰] When MOE Meets LLMs: Parameter Efficient Fine-tuning for Multi-task Medical Applications

Qidong Liu, Xian Wu외 5명|arXiv (Cornell University)|2023. 10. 21.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 의료 LLM에서 다중 작업 학습을 효율적으로 구현하기 위해 Mixture-of-Experts (MoE)와 LoRA를 결합한 새로운 파라미터 효율적 테일링 프레임워크인 MOELoRA를 제안한다. 작업 유도형 게이트 함수와 저랭크 전문가 행렬을 사용함으로써, 다양한 의료 작업에서 뛰어난 성능을 달성하면서도 핏팅 가능한 파라미터 수를 최소화한다. 이는 기존의 PEFT 방법보다 중국어 다중 작업 의료 벤치마크에서 슈퍼리어한 성능을 보인다.

ABSTRACT

The recent surge in Large Language Models (LLMs) has garnered significant attention across numerous fields. Fine-tuning is often required to fit general LLMs for a specific domain, like the web-based healthcare system. However, two problems arise during fine-tuning LLMs for medical applications. One is the task variety problem, which involves distinct tasks in real-world medical scenarios. The variety often leads to sub-optimal fine-tuning for data imbalance and seesaw problems. Besides, the large amount of parameters in LLMs leads to huge time and computation consumption by fine-tuning. To address these two problems, we propose a novel parameter efficient fine-tuning framework for multi-task medical applications, dubbed as MOELoRA. The designed framework aims to absorb both the benefits of mixture-of-expert (MOE) for multi-task learning and low-rank adaptation (LoRA) for parameter efficient fine-tuning. For unifying MOE and LoRA, we devise multiple experts as the trainable parameters, where each expert consists of a pair of low-rank matrices to retain the small size of trainable parameters. Then, a task-motivated gate function for all MOELoRA layers is proposed, which can control the contributions of each expert and produce distinct parameters for various tasks. We conduct experiments on a multi-task medical dataset, indicating MOELoRA outperforms the existing parameter efficient fine-tuning methods. The code is available online.

연구 동기 및 목표

• 다중 작업 의료 응용 분야에서의 작업 다양성과 높은 테일링 비용이라는 이중적 과제를 해결하기 위해.
• 작업 전용 지식 학습을 위한 Mixture-of-Experts (MoE)의 이점과 파라미터 효율성에 기여하는 LoRA의 이점을 통합하기 위해.
• 저랭크 전문가와 작업 유도형 게이트 함수를 갖춘 핏팅 가능한 아키텍처를 설계하여, 각 작업에 따라 전문가 기여도를 동적으로 배정하기 위해.
• 실제 다중 작업 중국어 의료 데이터셋에서 프레임워크의 효과성과 효율성을 검증하기 위해.
• 최소한의 계산 비용으로 효율적이고 다중 작업 의료 LLM을 구현할 수 있는 실용적이고 오픈소스 솔루션을 제공하기 위해.

제안 방법

• 프레임워크는 전체 테일링을 대체하기 위해 다수의 저랭크 전문가 행렬을 핏팅 가능한 파라미터로 도입한다.
• 각 전문가는 LoRA의 영감을 받아 파라미터 효율성을 유지하기 위해 저랭크 행렬의 쌍으로 구성된다.
• 입력 작업에 따라 각 전문가의 기여도를 동적으로 조절하기 위해 작업 유도형 게이트 함수를 설계한다.
• MoE 기반 아키텍처는 서로 다른 작업이 서로 다른 전문가 조합을 활성화할 수 있도록 하여, 작업 전용 적응을 가능하게 한다.
• 사전 훈련된 LLM 가중치를 유지하고, 저랭크 전문가 행렬과 게이트 파라미터만 테일링한다.
• 프레임워크는 다중 작업 의료 데이터셋에서 엔드 투 엔드로 훈련되며, 추론 과정에서 표준 LLM 추론을 초과하는 추가 계산이 필요하지 않다.

실험 결과

연구 질문

• RQ1 파라미터 효율적 테일링 방법이 성능 저하 없이 다양한 의료 작업을 효과적으로 처리할 수 있는가?
• RQ2 다중 작업 의료 LLM 환경에서 작업 전용 지식과 공유 지식을 동시에 학습할 수 있는가?
• RQ3 MoE와 LoRA의 통합이 기존 PEFT 방법보다 다중 작업 의료 응용 분야에서 더 뛰어난 성능을 달성할 수 있는가?
• RQ4 작업 유도형 게이트 함수가 이질적인 의료 작업 간의 일반화 능력을 향상시키는가?
• RQ5 MOELoRA는 다중 작업 의료 벤치마크에서 성능을 유지하거나 향상시키면서 계산 비용을 얼마나 줄일 수 있는가?

주요 결과

• MOELoRA는 공개된 다중 작업 중국어 의료 데이터셋에서 기존 파라미터 효율적 테일링 방법보다 뛰어난 성능을 보이며, 다양한 의료 작업에서 뛰어난 성능을 입증한다.
• 진단 예측, 약물 추천, 임상 보고서 생성 등의 작업에서 강력한 성능을 달성했으며, 데이터 불균형에 대한 강건성도 향상되었다.
• 작업 유도형 게이트 함수는 각 작업에 맞는 전문가 기여도를 성공적으로 할당하여 효과적인 작업 전용 적응을 가능하게 하였고, 공유 지식도 유지하였다.
• 저랭크 전문가 행렬의 사용은 높은 파라미터 효율성을 유지하여, 전체 테일링 대비 훨씬 낮은 테일링 비용을 달성하였다.
• 전문가 가중치의 시각화 결과, 관련된 작업들(예: CHIP-CDN과 KUAKE-QIC) 간에 높은 유사성이 나타나 효과적인 지식 전이가 이루어졌음을 시사한다.
• 구현 코드는 GitHub에 공개되어 있어 재현성과 향후 프레임워크의 확장에 기여할 수 있다.