[論文レビュー] Is Open-Source There Yet? A Comparative Study on Commercial and Open-Source LLMs in Their Ability to Label Chest X-Ray Reports

Felix J. Dorfner, Liv Jürgensen+12 more|arXiv (Cornell University)|Feb 19, 2024

Radiomics and Machine Learning in Medical Imaging被引用数 4

ひとこと要約

本研究は、ゼロショットおよびフェイントショットプロンプティングを用いて、胸部レントゲン画像報告書からの所見のラベリングにおいて、商業的（GPT-3.5 Turbo、GPT-4）およびオープンソース（Mistral-7B、Mixtral-8x7B、Llama2-13B/70B、QWEN1.5-72B、CheXbert、CheXpert-labeler）言語モデルを比較した。特にフェイントショットプロンプティングまたはアンサンブル手法を用いることで、オープンソースモデルはGPT-4にほぼ匹敵する性能を達成し、医療分野におけるレポーティング分類のコスト効率、プライバシー保護、再現可能性の高い代替手段を提供する。

ABSTRACT

Introduction: With the rapid advances in large language models (LLMs), there have been numerous new open source as well as commercial models. While recent publications have explored GPT-4 in its application to extracting information of interest from radiology reports, there has not been a real-world comparison of GPT-4 to different leading open-source models. Materials and Methods: Two different and independent datasets were used. The first dataset consists of 540 chest x-ray reports that were created at the Massachusetts General Hospital between July 2019 and July 2021. The second dataset consists of 500 chest x-ray reports from the ImaGenome dataset. We then compared the commercial models GPT-3.5 Turbo and GPT-4 from OpenAI to the open-source models Mistral-7B, Mixtral-8x7B, Llama2-13B, Llama2-70B, QWEN1.5-72B and CheXbert and CheXpert-labeler in their ability to accurately label the presence of multiple findings in x-ray text reports using different prompting techniques. Results: On the ImaGenome dataset, the best performing open-source model was Llama2-70B with micro F1-scores of 0.972 and 0.970 for zero- and few-shot prompts, respectively. GPT-4 achieved micro F1-scores of 0.975 and 0.984, respectively. On the institutional dataset, the best performing open-source model was QWEN1.5-72B with micro F1-scores of 0.952 and 0.965 for zero- and few-shot prompting, respectively. GPT-4 achieved micro F1-scores of 0.975 and 0.973, respectively. Conclusion: In this paper, we show that while GPT-4 is superior to open-source models in zero-shot report labeling, the implementation of few-shot prompting can bring open-source models on par with GPT-4. This shows that open-source models could be a performant and privacy preserving alternative to GPT-4 for the task of radiology report classification.

研究の動機と目的

• オープンソース言語モデルが、GPT-4のような商業的モデルと同等の性能を示すかどうかを評価すること。
• ゼロショットとフェイントショットのプロンプティング戦略が、多様なデータセットにおいてモデル性能に与える影響を評価すること。
• 臨床的NLP分野における特許権モデルの代替手段として、オープンソース言語モデルがプライバシー保護、コスト効率、再現可能性に優れているかどうかを検証すること。
• 性能の高いオープンソースモデルを複数組み合わせたアンサンブル手法を用いて、分類精度を向上させることを目的とする。
• レポートラベリングタスクにおけるクラス不均衡およびプロンプト最適化に関する課題を解消すること。

提案手法

• 2つの独立したデータセットを用いた：マサチューセッツ・メモリアル病院の540件の機関内胸部レントゲン画像報告書と、ImaGenomeデータセットの500件の報告書。
• GPT-3.5 TurboおよびGPT-4の2つの商業的モデルに加え、Mistral-7B、Mixtral-8x7B、Llama2-13B、Llama2-70B、QWEN1.5-72B、CheXbert、CheXpert-labelerの合計6つのオープンソース言語モデルを評価した。
• ゼロショットおよびフェイントショットプロンプティング手法を適用し、最初にGPT-4でプロンプトを設計・テストした後、他のモデルに適応した。
• 14の画像診断所見を対象に、マイクロF1スコアおよびマクロF1スコアを用いて性能を測定した。機関内データセットではクラス不均衡の影響を軽減するためオーバーサンプリングを実施した。
• 予測結果を多数決で統合することで、性能の高い3つのオープンソースモデル（Mixtral-8x7B、Llama2-70B、QWEN1.5-72B）を組み合わせたアンサンブルモデルを作成した。
• モデル推論はローカル環境またはクラウドプロバイダーを介して実施した。量子化技術により、限られたハードウェア（例：Llama-2 70BをInt4で実行する場合の48GB VRAM）上でのデプロイも可能となった。

Figure 1: Flow-chart for the reports from the ImaGenome and the institutional dataset

実験結果

リサーチクエスチョン

• RQ1 オープンソース言語モデルは、非構造化胸部レントゲン画像報告書からの所見分類において、GPT-4と同等の性能を達成できるか？
• RQ2 フェイントショットプロンプティングは、ゼロショットプロンプティングに比べて、このタスクにおけるオープンソース言語モデルの精度をどのように向上させるか？
• RQ3 複数のオープンソースモデルを組み合わせたアンサンブル手法は、GPT-4との性能格差をどれほど縮められるか？
• RQ4 コスト、プライバシー、再現可能性という観点から、オープンソース言語モデルは商業的モデルに比べてどのような実用的利点を有するか？
• RQ5 クラス不均衡およびプロンプト設計は、レントゲン画像報告書分類タスクにおけるモデル性能にどのように影響を与えるか？

主な発見

• ImaGenomeデータセットでは、最高性能を示したオープンソースモデルLlama2-70Bが、ゼロショット時で0.972、フェイントショット時で0.970のマイクロF1スコアを記録した。これに対してGPT-4はそれぞれ0.975および0.984であった。
• 機関内データセットでは、QWEN1.5-72Bがゼロショット時で0.952、フェイントショット時で0.965のマイクロF1スコアを達成した。GPT-4はそれぞれ0.975および0.973であった。
• Mixtral-8x7B、Llama2-70B、QWEN1.5-72Bのアンサンブルは、フェイントショットプロンプティングを用いて機関内データセットでGPT-4と同等の性能を示し、マイクロF1スコアは0.971および0.973を記録した。
• アンサンブルモデルは、両方のデータセットにおいてゼロショットおよびフェイントショットタスクでGPT-3.5 Turboを上回り、モデルの組み合わせによる価値を示した。
• オープンソースモデルは、「気胸」や「不張塞塞」といった頻出所見において優れた性能を示し、これらの用語が報告書に直接記載されている場合に特に効果的であった。
• 本研究は、モデルをローカルにデプロイし外部APIに依存しない場合、オープンソース言語モデルがコスト、プライバシー、再現性の面で顕著な利点を有することを確認した。

Figure 2: Outline of the zero-shot prompting workflow for the ImaGenome dataset. The model is given instructions and the report to classify and outputs its response according to the JSON formatted template with the corresponding labels.