[論文レビュー] PLLaMa: An Open-source Large Language Model for Plant Science

Xianjun Yang, Junfeng Gao+2 more|arXiv (Cornell University)|Jan 3, 2024

Biomedical Text Mining and Ontologies被引用数 10

ひとこと要約

PLLaMa は LLaMa-2 を植物科学に焦点を当てた訓練コーパス（1.5百万件を超える学術論文）で拡張し、その後の指示適合を通じて植物科学のQAと対話能力を向上させる；チェックポイントはコミュニティ利用のため公開される。

ABSTRACT

Large Language Models (LLMs) have exhibited remarkable capabilities in understanding and interacting with natural language across various sectors. However, their effectiveness is limited in specialized areas requiring high accuracy, such as plant science, due to a lack of specific expertise in these fields. This paper introduces PLLaMa, an open-source language model that evolved from LLaMa-2. It's enhanced with a comprehensive database, comprising more than 1.5 million scholarly articles in plant science. This development significantly enriches PLLaMa with extensive knowledge and proficiency in plant and agricultural sciences. Our initial tests, involving specific datasets related to plants and agriculture, show that PLLaMa substantially improves its understanding of plant science-related topics. Moreover, we have formed an international panel of professionals, including plant scientists, agricultural engineers, and plant breeders. This team plays a crucial role in verifying the accuracy of PLLaMa's responses to various academic inquiries, ensuring its effective and reliable application in the field. To support further research and development, we have made the model's checkpoints and source codes accessible to the scientific community. These resources are available for download at \url{https://github.com/Xianjun-Yang/PLLaMa}.

研究の動機と目的

• 一般ドメインモデルを超える、分野特化の植物科学におけるLLM精度向上への動機。
• 植物文献の拡張事前学習によって、オープンソースの植物科学指向LLMを開発する。
• 植物科学の学術的問合せを支援するため、指示チューニングを通じて対話能力を強化する。
• 再現性と今後の研究のために、トレーニングチェックポイントとソースコードを公開へ提供。

提案手法

• LLaMa-2-7BおよびLLaMa-2-13Bの事前学習を1.5百万件以上の植物科学論文を用いて拡張する。
• S2ORC からジャーナル名を抽出して植物科学コーパスを構築する（植物科学ジャーナル750誌）。
• 植物科学コーパスを一般データの10% RedPajama-Data-1T-Sample と混合して破茶滅茶忘却を緩和する。
• 効率的な訓練のため bf16、FlashAttention、zero-stage-3 DeepSpeed、Fully Sharded Data Parallel (FSDP) を適用する。
• LIMAセットの1030指示と植物科学固有のプロンプトを用いた指示チューニングを実施；bf16とFSDPで訓練する。
• 保持アウトの植物科学クイズとゼロショットケースで評価し、精度と定性的評価を報告する。

実験結果

リサーチクエスチョン

• RQ1 分野特化の事前学習によって、オープンソースLLMは植物科学タスクで大幅に改善できるか。
• RQ2 拡張事前学習を超えて、指示チューニングは植物科学の対話と質問応答能力をさらに向上させるか。
• RQ3 PLLaMaの植物科学クイズとゼロショット問合せに対する測定性能はどうか。
• RQ4 公開されたチェックポイントとコードは再現性とさらなる分野特化作業を可能にするのに十分か。

主な発見

• PLLaMa-13B-Chat は 10 問の保持アウト植物科学クイズで約60%の精度を達成。
• 事前学習と指示チューニングはそれぞれ8台のA100 GPUと4台のA100 GPUで実施され、リソース使用量とタイムラインが詳述されており（例：7B 約26時間；13B 約57時間が事前学習、7B 約1.3時間；13B 約2.7時間が指示チューニング）。
• モデルはドメインに関連するQ&Aを出力し、国際的な植物科学者・エンジニアの委員会によって有用性が示された。
• モデルのチェックポイントとソースコードはコミュニティへ公開され、ダウンロードと再現が可能。
• PLLaMa は LLaMa-2を基に大規模な植物科学コーパスと分野特化の指示チューニングを追加し、分野スペシャリストとの差を縮める。