[論文レビュー] A Survey of Large Language Models for Healthcare: from Data, Technology, and Applications to Accountability and Ethics

Kai He, Rui Mao+5 more|arXiv (Cornell University)|Oct 9, 2023

Artificial Intelligence in Healthcare and Education被引用数 28

ひとこと要約

この調査は、 大規模言語モデル（LLMs）が医療分野でどう開発・適用されるかを分析し、伝統的なPLMsと比較し、倫理と評価について論じる。

ABSTRACT

The utilization of large language models (LLMs) in the Healthcare domain has generated both excitement and concern due to their ability to effectively respond to freetext queries with certain professional knowledge. This survey outlines the capabilities of the currently developed LLMs for Healthcare and explicates their development process, with the aim of providing an overview of the development roadmap from traditional Pretrained Language Models (PLMs) to LLMs. Specifically, we first explore the potential of LLMs to enhance the efficiency and effectiveness of various Healthcare applications highlighting both the strengths and limitations. Secondly, we conduct a comparison between the previous PLMs and the latest LLMs, as well as comparing various LLMs with each other. Then we summarize related Healthcare training data, training methods, optimization strategies, and usage. Finally, the unique concerns associated with deploying LLMs in Healthcare settings are investigated, particularly regarding fairness, accountability, transparency and ethics. Our survey provide a comprehensive investigation from perspectives of both computer science and Healthcare specialty. Besides the discussion about Healthcare concerns, we supports the computer science community by compiling a collection of open source resources, such as accessible datasets, the latest methodologies, code implementations, and evaluation benchmarks in the Github. Summarily, we contend that a significant paradigm shift is underway, transitioning from PLMs to LLMs. This shift encompasses a move from discriminative AI approaches to generative AI approaches, as well as a shift from model-centered methodologies to data-centered methodologies. Also, we determine that the biggest obstacle of using LLMs in Healthcare are fairness, accountability, transparency and ethics.

研究の動機と目的

• 医療分野における事前学習済み言語モデル（PLMs）から大規模言語モデル（LLMs）への開発ロードマップを要約する。
• 医療領域におけるPLMsとLLMsを比較し、それらの強み・限界・適用範囲を分析する。
• 医療分野の訓練データ、訓練方法、最適化戦略、およびLLMsの使用ガイドラインを整理する。
• 医療LLMsの展開における公正性・説明責任・透明性・倫理的問題を検討する。
• プライベートな医療LLMsを構築するためのオープンソース資源と実践的なガイダンスを提供する。

提案手法

• 医療分野におけるPLMsからLLMsへの主要な展開をレビューし、統合する。
• NER、RE、TC、STS、QA、対話など、医療タスク全般におけるLLMsの能力と限界を要約する。
• 医療LLMsのデータソース、訓練手法、最適化戦略、評価手法を整理する。
• 医療LLMsの展開における公正性・説明責任・透明性・倫理を論じる。
• 医療LLMsに関連するオープンソースデータセット・手法・コード・ベンチマークをまとめる。

Figure 1: The development from PLMs to LLMs. GPT-3 [ 17 ] marks a significant milestone in the transition from PLMs to LLMs, signaling the beginning of a new era.

実験結果

リサーチクエスチョン

• RQ1 現在の医療応用におけるLLMsの能力と限界は何か？
• RQ2 医療の開発と使用においてPLMsとLLMsはどう異なり、実践へはどのような影響があるか？
• RQ3 医療LLMsにはどのようなデータ・訓練手法・評価戦略が用いられ、性能と安全性にどう影響するか？
• RQ4 医療LLMsに伴う倫理・公正性・説明責任・透明性の課題は何で、それらはどのように対処できるか？

主な発見

• LLMsはNER・RE・TC・STS・QA・対話生成など、さまざまな医療タスクの進展を可能にする。
• Med-PaLM 2はUSMLE風の問題で高い性能を達成し、医療分野における専門家レベルの潜在能力を示している。
• 医療分野では識別型PLMsから生成型LLMsへのパラダイムシフトと、モデル中心からデータ中心の開発への移行が進んでいる。
• 医療LLMsは複数モーダルデータや知識グラフにますます依存して、複雑な臨床推論と報告を支援する。
• 本調査は、プライベートな医療LLM開発を支援するオープンソースデータセット・手法・コード・ベンチマークの集合を提供する。
• 頑健性・バイアス・公正性・説明責任・透明性などの倫理的配慮を分析し、責任ある展開の指針を示す。

Figure 2: The organizational framework for the content. Section III , Section IV , Section V are technology details, while Section II , Section VI and Section VI are more valued for Healthcare professionals.