[논문 리뷰] Medical mT5: An Open-Source Multilingual Text-to-Text LLM for The Medical Domain

Iker García-Ferrero, Rodrigo Agerri외 11명|arXiv (Cornell University)|2024. 04. 11.

Topic Modeling인용 수 10

한 줄 요약

이 논문은 의료용 mT5를 제시합니다. 이는 의료를 위한 최초의 오픈 소스 다국어 텍스트-투-텍스트 LLM이며, 대규모 다국어 의학 코퍼스에서 학습되고 영어, 스페인어, 프랑스어, 이탈리아어 작업에 대해 평가되었습니다. 다국어 시퀀스 라벨링에서 강력한 결과를 달성하고 영어 QA에서 최첨단 모델들에 비해 경쟁력 있는 성능을 보입니다.

ABSTRACT

Research on language technology for the development of medical applications is currently a hot topic in Natural Language Understanding and Generation. Thus, a number of large language models (LLMs) have recently been adapted to the medical domain, so that they can be used as a tool for mediating in human-AI interaction. While these LLMs display competitive performance on automated medical texts benchmarks, they have been pre-trained and evaluated with a focus on a single language (English mostly). This is particularly true of text-to-text models, which typically require large amounts of domain-specific pre-training data, often not easily accessible for many languages. In this paper, we address these shortcomings by compiling, to the best of our knowledge, the largest multilingual corpus for the medical domain in four languages, namely English, French, Italian and Spanish. This new corpus has been used to train Medical mT5, the first open-source text-to-text multilingual model for the medical domain. Additionally, we present two new evaluation benchmarks for all four languages with the aim of facilitating multilingual research in this domain. A comprehensive evaluation shows that Medical mT5 outperforms both encoders and similarly sized text-to-text models for the Spanish, French, and Italian benchmarks, while being competitive with current state-of-the-art LLMs in English.

연구 동기 및 목표

• 다국어, 오픈 소스 의학 LLM의 부족 문제를 해결하기 위해 대형 다국어 의학 코퍼스를 구축하고 텍스트-투-텍스트 모델을 학습한다.
• 영어뿐 아니라 스페인어, 프랑스어, 이탈리아어에 대한 벤치마크를 제공하여 다국어 의학 NLP 연구를 촉진한다.
• 도메인 특정 데이터에서의 계속 학습이 비영어권 언어의 성능을 향상시키는지 보여준다.
• 다중 작업 및 제로샷 크로스링구얼 설정에서 모델의 효과를 입증한다.

제안 방법

• 공개 소스에서 영어, 스페인어, 프랑스어, 이탈리아어를 포함한 약 30억 단어 규모의 대형 다국어 의학 코퍼트를 구성한다.
• 의학 코퍼스로 사전 학습된 mT5 체크포인트를 미세 조정하여 Medical-mT5-large(738M 매개변수)와 Medical-mT5-xl(3B 매개변수)를 생성한다.
• 스팬 손상(span-corruption) 목표와 원래 mT5 작업에서의 자기지도(self-supervised) 설정을 따라 사전 학습하되, 하드웨어에 의해 시퀀스 길이를 제약한다.
• 스페인어, 프랑스어, 이탈리아어에 대한 두 가지 새로운 다국어 평가 데이터 세트를 도입한다: Argument Mining과 Abstractive Question Answering.
• 모든 작업을 텍스트-투-텍스트 문제로 프레이밍하고 입력 단어와 유효한 주석을 유지하기 위해 제한된 디코딩을 적용한다.
• monolingual 및 multilingual 설정 전반에 걸쳐 mT5, SciFive, Flan-T5, 인코더 전용 모델을 포함한 기준선과 비교한다.

실험 결과

연구 질문

• RQ1 의학 데이터로 학습된 다국어 텍스트-투-텍스트 모델이 영어, 스페인어, 프랑스어, 이탈리아어에서 시퀀스 라벨링과 QA 작업에 대해 잘 수행할 수 있는가?
• RQ2 의학 데이터의 도메인 특화 사전 학습이 다중 작업 및 제로샷 크로스링구얼 설정에서 비영어권 언어의 성능을 향상시키는가?
• RQ3 다국어 의학 생성 평가의 도전과 한계는 무엇이며 Medical mT5는 영어 및 기타 언어에서 강력한 기준선에 대해 어떻게 성능을 발휘하는가?

주요 결과

• Medical mT5는 스페인어, 프랑스어, 이탈리아어 시퀀스 라벨링 벤치마크에서 동급 규모의 텍스트-투-텍스트 기준선보다 성능이 더 좋다.
• Medical mT5는 의학 텍스트-투-텍스트 작업에서 영어 최첨단 모델과 경쟁력이 있다.
• 제로샷 크로스링크 전이는 Medical mT5 및 그 xl 변형이 영어 데이터로 미세 조정될 때 비영어권 언어에 대해 강력한 결과를 보여준다.
• 다중 작업 미세 조정이 단일 작업 설정과 비교하여 스페인어, 프랑스어, 이탈리아어에서 최상의 전체 성능을 낳는다.
• 더 큰 Medical-mT5-xl은 단일 작업 설정에서 과적합될 수 있지만 다중 작업 및 크로스링구얼 시나리오에서 뛰어나다.