[논문 리뷰] PharmaGPT: Domain-Specific Large Language Models for Bio-Pharmaceutical and Chemistry

Linqing Chen, Wei‐Lei Wang외 34명|arXiv (Cornell University)|2024. 06. 26.

Biomedical Text Mining and Ontologies인용 수 4

한 줄 요약

PharmaGPT는 광범위한 생물의학 및 화학 문헌 코퍼스를 바탕으로 미세조정된 도메인 특화 대규모 언어 모델(13B 및 70B 파라미터)을 소개하며, NAPLEX 및 생물의학 번역 벤치마크에서 일반 목적의 모델인 GPT-3.5와 Claude 3를 능가하는 최신 기술 성능을 달성한다. 이는 훨씬 적은 파라미터를 사용하고 있음에도 불구하고 생물의약품 NLP 분야에서 전문화된 사전학습의 효과를 입증한다.

ABSTRACT

Large language models (LLMs) have revolutionized Natural Language Processing (NLP) by minimizing the need for complex feature engineering. However, the application of LLMs in specialized domains like biopharmaceuticals and chemistry remains largely unexplored. These fields are characterized by intricate terminologies, specialized knowledge, and a high demand for precision areas where general purpose LLMs often fall short. In this study, we introduce PharmaGPT, a suite of domain specilized LLMs with 13 billion and 70 billion parameters, specifically trained on a comprehensive corpus tailored to the Bio-Pharmaceutical and Chemical domains. Our evaluation shows that PharmaGPT surpasses existing general models on specific-domain benchmarks such as NAPLEX, demonstrating its exceptional capability in domain-specific tasks. Remarkably, this performance is achieved with a model that has only a fraction, sometimes just one-tenth-of the parameters of general-purpose large models. This advancement establishes a new benchmark for LLMs in the bio-pharmaceutical and chemical fields, addressing the existing gap in specialized language modeling. It also suggests a promising path for enhanced research and development, paving the way for more precise and effective NLP applications in these areas.

연구 동기 및 목표

• 일반 목적의 LLM이 생물의약품 및 화학 분야에서 정밀도와 도메인 특화 지식이 부족한 문제를 해결한다.
• 복잡한 용어와 미묘한 과학적 언어를 다룰 수 있는 多국어 도메인 특화 LLM을 개발한다.
• 더 큰 일반 목적의 모델에 비해 더 작은 전문화된 모델이 도메인 특화 NLP 과제에서 승리할 수 있음을 입증한다.
• 정제된 고품질 과학 문헌 코퍼스를 사용하여 도메인 특화 LLM의 확장 가능하고 효율적인 학습 프레임워크를 수립한다.
• 미래의 과학 및 의학 분야의 수직 도메인 LLM 개발을 위한 재현 가능하고 개방형 아키텍처 로드맵을 제공한다.

제안 방법

• 사전학습을 위해 생물의약품 및 화학 문헌에서 수십억 토큰에 이르는 종합적이고 다국어 기반의 코퍼스를 정제했다.
• 마스킹 언어 모델링과 지시 미세조정의 조합을 사용하여 도메인 특화 과제에 대해 13B 및 70B 파라미터 LLM을 미세조정했다.
• 사전학습 중 효율성과 확장성을 최적화하기 위해 고급 분산 학습 기법을 적용했다.
• BLEU 점수를 사용하여 문단, 문장, 단어 수준 번역 과제에 걸쳐 다중 정도 평가 전략을 적용했다.
• 미국 NAPLEX 및 중국 약제 시험에서 최신 일반 목적 모델(GPT-3.5, Claude 3, Google의 모델)과의 성능 비교를 수행했다.
• 모델 크기와 도메인 특화 벤치마크에서의 성능 향상 간의 상관관계를 분석하기 위해 척도 법칙을 분석했다.

실험 결과

연구 질문

• RQ1 더 작은 도메인 특화 LLM이 생물의약품 및 화학 NLP 과제에서 더 큰 일반 목적의 LLM을 능가할 수 있는가?
• RQ2 정제된 생물의학 및 화학 코퍼스에 대한 사전학습이 NAPLEX와 같은 도메인 특화 벤치마크에서의 성능 향상에 어느 정도 기여하는가?
• RQ3 PharmaGPT의 성능은 다국어 생물의학 텍스트 번역에서 최신 기술 수준의 일반 목적 LLM과 비교해 어떻게 되는가?
• RQ4 모델 크기가 전문 과학 도메인에서 성능에 미치는 영향은 무엇이며, 척도는 예측 가능한 추세를 따르는가?
• RQ5 도메인 특화 LLM이 일반 목적 모델보다 훨씬 적은 파라미터로도 높은 수준의 성능을 달성할 수 있는가?

주요 결과

• PharmaGPT는 문단 수준 생물의학 번역에서 BLEU 점수 30을 기록하여 GPT-3.5(27), Claude 3(26), Google의 모델(27)을 능가했다.
• 단어 수준 번역에서 PharmaGPT는 10점을 기록했으며, GPT-3.5는 8점, Claude 3과 Google의 모델은 각각 9점이었다.
• 문장 수준에서 PharmaGPT는 BLEU 점수 18을 기록하여 GPT-3.5(15)와 Claude 3(16)를 초월했다.
• 미국 NAPLEX 및 중국 약제 시험에서 PharmaGPT의 성능은 모델 크가 증가함에 따라 향상되었으며, 최종적으로 GPT를 능가했다.
• 모든 번역 정도에서 일관된 승리함을 보이며 복잡한 과학적 언어를 다루는 데 있어 뛰어난 견고성을 입증했다.
• 일부 일반 목적 모델에 비해 파라미터 수가 10분의 1에 불과함에도 불구하고, 도메인 특화 평가에서 최신 기술 성능을 달성했다.