[論文レビュー] Taiyi: A Bilingual Fine-Tuned Large Language Model for Diverse Biomedical Tasks

Ling Luo, Jinzhong Ning+18 more|arXiv (Cornell University)|Nov 20, 2023

Topic Modeling参考文献 43被引用数 7

ひとこと要約

Taiyi は、英語および中国語の両方のバイオメディカル NLP タスクに最適化された、二言語対応でファインチューニングされた大規模言語モデルである。10種類のタスクタイプにわたる140のキュレート済みバイオメディカルデータセットを用いた二段階の教師ありファインチューニング戦略により、Taiyi は13のベンチマークテストセットで最先端のパフォーマンスを達成し、強力な二言語マルチタスク能力を示したが、生成ベースのアプローチは、情報抽出のような非生成タスクでは識別モデルに劣っている。

ABSTRACT

Objective: Most existing fine-tuned biomedical large language models (LLMs) focus on enhancing performance in monolingual biomedical question answering and conversation tasks. To investigate the effectiveness of the fine-tuned LLMs on diverse biomedical NLP tasks in different languages, We present Taiyi, a bilingual fine-tuned LLM for diverse biomedical tasks. Materials and Methods: We first curated a comprehensive collection of 140 existing biomedical text mining datasets (102 English and 38 Chinese datasets) across over 10 task types. Subsequently, a two-stage strategy is proposed for supervised fine-tuning to optimize the model performance across varied tasks. Results: Experimental results on 13 test sets covering named entity recognition, relation extraction, text classification, question answering tasks demonstrate that Taiyi achieves superior performance compared to general LLMs. The case study involving additional biomedical NLP tasks further shows Taiyi's considerable potential for bilingual biomedical multi-tasking. Conclusion: Leveraging rich high-quality biomedical corpora and developing effective fine-tuning strategies can significantly improve the performance of LLMs within the biomedical domain. Taiyi shows the bilingual multi-tasking capability through supervised fine-tuning. However, those tasks such as information extraction that are not generation tasks in nature remain challenging for LLM-based generative approaches, and they still underperform the conventional discriminative approaches of smaller language models.

研究の動機と目的

• 既存のバイオメディカル LLM が主に単一言語の質問応答に焦点を当てており、多言語およびマルチタスク能力に制限があることに対処する。
• 多様なバイオメディカルデータセットにおける教師ありファインチューニングが、複数の言語およびタスクタイプにわたる LLM パフォーランスを向上させるかどうかを調査する。
• 英語および中国語のバイオメディカル NLP タスクを両方サポートする統一された二言語モデルを開発する。
• 生成型 LLM が、名前付きエンティティ認識や関係抽出のような非生成タスクに与える効果を評価する。
• ファインチューニングされた Taiyi モデルのパフォーマンスを一般用途 LLM および従来の識別型モデルと比較する。

提案手法

• 英語102件、中国語38件の合計140のバイオメディカルテキストマイニングデータセットをキュレートし、10種類以上の異なる NLP タスクタイプをカバーした。
• 多様なバイオメディカルタスクにわたるモデルパフォーマンスを最適化するため、二段階の教師ありファインチューニング戦略を提案した。
• 英語および中国語のバイオメディカルソースから得た高品質でドメイン特化型のコーパスを活用し、モデルの事前学習およびファインチューニングに使用した。
• テキスト分類や質問応答などのさまざまなダウンストリームタスクに適応させるために、タスク固有のヘッドレイヤーおよびプロンプト工学を適用した。
• 統一されたアーキテクチャを用いて二言語推論を可能にし、言語間でゼロショットおよびフェイシングトランスファーを実現した。
• 名前付きエンティティ認識、関係抽出、その他のタスクを含む、13のベンチマークテストセットでモデルを評価した。

実験結果

リサーチクエスチョン

• RQ1 1つの二言語 LLM が、英語および中国語の両方のバイオメディカル NLP タスクで強力なパフォーマンスを発揮できるか？
• RQ2 幅広いバイオメディカルデータセットにおける教師ありファインチューニングが、多言語環境下でのゼロショットおよびフェイシング一般化をどのように向上させるか？
• RQ3 生成型 LLM が、エンティティ認識や関係抽出のような非生成タスクにおいて、従来の識別型モデルに比べてどれほど優れているか、あるいは劣っているか？
• RQ4 二言語データのキュレートおよび二段階ファインチューニングが、クロスリンガル転送パフォーマンスに与える影響は何か？
• RQ5 Taiyi は、専門的なバイオメディカルベンチマークにおいて、一般用途 LLM と比べてどのように差をつけるか？

主な発見

• Taiyi は、名前付きエンティティ認識、関係抽出、テキスト分類などの複数のバイオメディカル NLP タスクにおいて、13のテストセットで優れたパフォーマンスを達成し、一般用途 LLM を上回った。
• モデルは、英語および中国語のバイオメディカルタスク間で知識を効果的に転送する、強力な二言語マルチタスク能力を示した。
• 質問応答のような生成タスクでは優れたパフォーマンスを発揮したが、情報抽出のような非生成タスクでは、特化型の識別型モデルに劣った。
• 二段階ファインチューニング戦略は、多様なタスクタイプおよび言語にわたるモデル一般化を顕著に向上させた。
• キュレート済みの140のバイオメディカルデータセット（英語102件、中国語38件）のコレクションは、広範なマルチタスク学習を可能にする有効な基盤となった。
• Taiyi は『Journal of the American Medical Informatics Association』に掲載され、その貢献がピアレビューを経て裏付けられた。