[논문 리뷰] Taiyi: A Bilingual Fine-Tuned Large Language Model for Diverse Biomedical Tasks

Ling Luo, Jinzhong Ning외 18명|arXiv (Cornell University)|2023. 11. 20.

Topic Modeling참고 문헌 43인용 수 7

한 줄 요약

Taiyi 는 영어와 중국어 양방향에서 다양한 생물의학 NLP 작업을 최적화한 双어, 미세조정된 대규모 언어 모델이다. 10개의 작업 유형에 걸쳐 140개의 정제된 생물의학 데이터셋을 대상으로 두 단계의 지도 기반 미세조정 전략을 적용하여, Taiyi 는 13개의 벤치마크 테스트 세트에서 최신 기술 수준의 성능을 달성하였으며, 강력한 양어 다중 작업 능력을 보여주었다. 다만, 정보 추출과 같은 비생성 작업에서는 생성 기반 접근 방식이 여전히 분류 기반 모델보다 성능이 열 劣하다.

ABSTRACT

Objective: Most existing fine-tuned biomedical large language models (LLMs) focus on enhancing performance in monolingual biomedical question answering and conversation tasks. To investigate the effectiveness of the fine-tuned LLMs on diverse biomedical NLP tasks in different languages, We present Taiyi, a bilingual fine-tuned LLM for diverse biomedical tasks. Materials and Methods: We first curated a comprehensive collection of 140 existing biomedical text mining datasets (102 English and 38 Chinese datasets) across over 10 task types. Subsequently, a two-stage strategy is proposed for supervised fine-tuning to optimize the model performance across varied tasks. Results: Experimental results on 13 test sets covering named entity recognition, relation extraction, text classification, question answering tasks demonstrate that Taiyi achieves superior performance compared to general LLMs. The case study involving additional biomedical NLP tasks further shows Taiyi's considerable potential for bilingual biomedical multi-tasking. Conclusion: Leveraging rich high-quality biomedical corpora and developing effective fine-tuning strategies can significantly improve the performance of LLMs within the biomedical domain. Taiyi shows the bilingual multi-tasking capability through supervised fine-tuning. However, those tasks such as information extraction that are not generation tasks in nature remain challenging for LLM-based generative approaches, and they still underperform the conventional discriminative approaches of smaller language models.

연구 동기 및 목표

• 기존 생물의학 LLM이 주로 단일어 질문 응답에 집중함에 따라 다국어 및 다중 작업 능력이 제한되어 있는 문제를 해결하기 위해.
• 다양한 생물의학 데이터셋에 대한 지도 기반 미세조정이 여러 언어와 작업 유형에서 LLM 성능을 향상시키는지 조사하기 위해.
• 영어와 중국어 생물의학 NLP 작업을 모두 지원하는 통합된 이중어 모델을 개발하기 위해.
• 생성 기반 LLM의 비생성 작업(예: 명명된 실체 인식 및 관계 추출)에 대한 효과를 평가하기 위해.
• 미세조정된 Taiyi 모델의 성능을 일반 목적 LLM 및 전통적인 분류 기반 모델과 비교하기 위해.

제안 방법

• 영어 102개, 중국어 38개를 포함해 총 140개의 생물의학 텍스트 마이닝 데이터셋을 정제하여 수집하였으며, 10개 이상의 다른 NLP 작업 유형을 포함한다.
• 다양한 생물의학 작업에서의 성능 최적화를 위해 두 단계의 지도 기반 미세조정 전략을 제안하였다.
• 영어 및 중국어 생물의학 자료에서 유래한 고품질의 도메인 전용 코퍼스를 활용하여 모델의 사전학습 및 미세조정을 수행하였다.
• 텍스트 분류 및 질문 응답과 같은 다양한 최종 작업에 적합하도록 작업 유형별 헤드 레이어와 프롬프트 엔지니어링을 적용하였다.
• 통합 아키텍처를 사용하여 이중어 추론을 지원함으로써 언어 간 제로샷 및 피셔샷 전이를 가능하게 하였다.
• 명명된 실체 인식, 관계 추출 등 다양한 작업을 측정하기 위해 13개의 벤치마크 테스트 세트에서 모델을 평가하였다.

실험 결과

연구 질문

• RQ1 한 개의 이중어 LLM이 영어와 중국어 양방향에서 다양한 생물의학 NLP 작업에서 뛰어난 성능을 달성할 수 있는가?
• RQ2 다양한 생물의학 데이터셋에 대한 지도 기반 미세조정이 다국어 환경에서 제로샷 및 피셔샷 일반화 능력을 어떻게 향상시키는가?
• RQ3 생성 기반 LLM이 실체 인식 및 관계 추출과 같은 비생성 작업에서 기존의 분류 기반 모델보다 얼마나 뛰어나거나 열 劣한가?
• RQ4 이중어 데이터 정제 및 두 단계의 미세조정 전략이 언어 간 전이 성능에 어떤 영향을 미치는가?
• RQ5 Taiyi 는 전문적인 생물의학 벤치마크에서 일반 목적 LLM보다 어떻게 비교되는가?

주요 결과

• Taiyi 는 명명된 실체 인식, 관계 추출, 텍스트 분류 등 다양한 생물의학 NLP 작업에서 13개의 테스트 세트에서 뛰어난 성능을 보였으며, 일반 목적 LLM을 능가하였다.
• 모델는 영어와 중국어 생물의학 작업 간 지식 전이를 효과적으로 수행하는 강력한 이중어 다중 작업 능력을 보였다.
• 질문 응답과 같은 생성 작업에서 뛰어난 성능을 보였음에도 불구하고, 정보 추출과 같은 비생성 작업에서는 전문적인 분류 기반 모델보다 여전히 성능이 열 劣하였다.
• 두 단계의 미세조정 전략이 다양한 작업 유형과 언어에서 모델의 일반화 능력을 크게 향상시켰다.
• 정제된 140개의 생물의학 데이터셋(영어 102개, 중국어 38개) 컬렉션은 광범위한 다중 작업 학습을 가능하게 하여 효과적이었다.
• Taiyi 는 미국의학정보학회지(Journal of the American Medical Informatics Association)에 게재되어, 그 기여의 동료 검토를 통과한 것으로 확인되었다.