[논문 리뷰] PLLaMa: An Open-source Large Language Model for Plant Science

Xianjun Yang, Junfeng Gao외 2명|arXiv (Cornell University)|2024. 01. 03.

Biomedical Text Mining and Ontologies인용 수 10

한 줄 요약

PLLaMa는 LLaMa-2를 식물과학에 초점을 둔 1.5 million 편의 학술 논문으로 구성된 학습 코퍼스를 LLaMa-2에 확장한 뒤, 그 뒤에 지시 학습을 수행하여 식물과학 QA 및 대화 능력을 향상시키고, 커뮤니티 사용을 위한 체크포인트를 공개합니다.

ABSTRACT

Large Language Models (LLMs) have exhibited remarkable capabilities in understanding and interacting with natural language across various sectors. However, their effectiveness is limited in specialized areas requiring high accuracy, such as plant science, due to a lack of specific expertise in these fields. This paper introduces PLLaMa, an open-source language model that evolved from LLaMa-2. It's enhanced with a comprehensive database, comprising more than 1.5 million scholarly articles in plant science. This development significantly enriches PLLaMa with extensive knowledge and proficiency in plant and agricultural sciences. Our initial tests, involving specific datasets related to plants and agriculture, show that PLLaMa substantially improves its understanding of plant science-related topics. Moreover, we have formed an international panel of professionals, including plant scientists, agricultural engineers, and plant breeders. This team plays a crucial role in verifying the accuracy of PLLaMa's responses to various academic inquiries, ensuring its effective and reliable application in the field. To support further research and development, we have made the model's checkpoints and source codes accessible to the scientific community. These resources are available for download at \url{https://github.com/Xianjun-Yang/PLLaMa}.

연구 동기 및 목표

• 일반 도메인 모델을 넘어, 도메인 특화 식물과학에서 LLM 정확도를 향상시키려는 동기.
• 식물 문헌에 대한 확장된 사전학습으로 오픈 소스 식물과학 지향 LLM을 개발.
• 식물과학 학술 문의를 지원하기 위한 지시 조정(instruction tuning)을 통해 대화 능력을 강화.
• 재현성 및 추가 연구를 위한 훈련 체크포인트와 소스 코드를 공공에 공개.

제안 방법

• 1.5 million+ 식물 과학 논문을 사용하여 LLaMa-2-7B 및 LLaMa-2-13B의 사전 학습을 확장한다.
• S2ORC에서 학술지 이름으로 필터링하여 식물과학 코퍼스를 구성한다(750개 식물과학 학술지).
• 대규모 망각(catastrophic forgetting)을 완화하기 위해 10%의 일반 RedPajama-Data-1T-Sample과 식물과학 코퍼스를 혼합한다.
• 효율적인 학습을 위해 bf16, FlashAttention, zero-stage-3 DeepSpeed, 그리고 Fully Sharded Data Parallel (FSDP)을 적용한다.
• LIMA 세트의 1030 지침과 식물과학 특화 프롬프트를 사용한 지시 조정(instruction tuning)을 수행하고 bf16 및 FSDP로 학습한다.
• 보류된 식물과학 퀴즈 및 제로샷 사례를 통해 평가하고 정확도와 정성적 평가를 보고한다.

실험 결과

연구 질문

• RQ1 도메인 특화 사전 학습으로 오픈 소스 LLM이 식물과학 작업에서 크게 개선될 수 있는가?
• RQ2 지시 조정이 확장된 사전 학습을 넘어 식물과학 대화 및 질의응답 능력을 더 향상시키는가?
• RQ3 PLLaMa의 식물과학 퀴즈 및 제로샷 문의에서 측정된 성능은 어떠한가?
• RQ4 공개 체크포인트와 코드가 재현성과 향후 도메인 특화 작업을 가능하게 충분한가?

주요 결과

• PLLaMa-13B-Chat은 10문항의 보류된 식물과학 퀴즈에서 약 60% 정확도를 달성한다.
• 사전 학습과 지시 조정은 각각 8개 A100 GPU와 4개 A100 GPU에서 수행되었으며, 자원 사용 및 일정이 상세히 보고된다(예: 사전 학습 7B ~26시간; 13B ~57시간; 지시 조정 7B ~1.3시간; 13B ~2.7시간).
• 모델은 도메인 관련 Q&A를 출력하며 국제 식물 과학자 및 엔지니어 패널에 의해 활용 가치가 있는 것으로 나타났다.
• 모델 체크포인트와 소스 코드는 커뮤니티에 공개되어 다운로드 및 재현이 가능하다.
• PLLaMa는 대규모 식물과학 코퍼스와 도메인 중심 지시 조정을 추가하여 도메인 전문 연구자들과의 격차를 해소하기 위해 LLaMa-2를 기반으로 한다.