[논문 리뷰] A Survey of Large Language Models for Healthcare: from Data, Technology, and Applications to Accountability and Ethics

Kai He, Rui Mao외 5명|arXiv (Cornell University)|2023. 10. 09.

Artificial Intelligence in Healthcare and Education인용 수 28

한 줄 요약

이 설문조사는 대형 언어 모델(LLMs)이 의료 분야에서 어떻게 개발되고 적용되는지 분석하고, 이를 전통적인 PLMs와 비교하며 윤리와 평가에 대해 논의한다.

ABSTRACT

The utilization of large language models (LLMs) in the Healthcare domain has generated both excitement and concern due to their ability to effectively respond to freetext queries with certain professional knowledge. This survey outlines the capabilities of the currently developed LLMs for Healthcare and explicates their development process, with the aim of providing an overview of the development roadmap from traditional Pretrained Language Models (PLMs) to LLMs. Specifically, we first explore the potential of LLMs to enhance the efficiency and effectiveness of various Healthcare applications highlighting both the strengths and limitations. Secondly, we conduct a comparison between the previous PLMs and the latest LLMs, as well as comparing various LLMs with each other. Then we summarize related Healthcare training data, training methods, optimization strategies, and usage. Finally, the unique concerns associated with deploying LLMs in Healthcare settings are investigated, particularly regarding fairness, accountability, transparency and ethics. Our survey provide a comprehensive investigation from perspectives of both computer science and Healthcare specialty. Besides the discussion about Healthcare concerns, we supports the computer science community by compiling a collection of open source resources, such as accessible datasets, the latest methodologies, code implementations, and evaluation benchmarks in the Github. Summarily, we contend that a significant paradigm shift is underway, transitioning from PLMs to LLMs. This shift encompasses a move from discriminative AI approaches to generative AI approaches, as well as a shift from model-centered methodologies to data-centered methodologies. Also, we determine that the biggest obstacle of using LLMs in Healthcare are fairness, accountability, transparency and ethics.

연구 동기 및 목표

• 의료 분야에서 사전학습 언어 모델(PLMs)에서 대형 언어 모델(LLMs)로의 개발 로드맵을 요약한다.
• PLMs와 LLMs를 비교하고 의료 도메인에서의 강점, 한계 및 활용을 분석한다.
• 의료 분야의 학습 데이터, 학습 방법, 최적화 전략 및 LLM 사용 지침을 정리한다.
• 의료 LLM 배치에서의 공정성, 책임성, 투명성 및 윤리 문제를 검토한다.
• 개인 의료 LLM 구축을 위한 오픈 소스 리소스와 실용적 지침을 제공한다.

제안 방법

• 의료 분야에서 PLMs에서 LLM으로의 주요 개발을 검토하고 종합한다.
• NER, RE, TC, STS, QA, 대화 등 의료 작업에서 LLM의 능력과 한계를 요약한다.
• 의료 LLM을 위한 데이터 소스, 학습 방법, 최적화 전략 및 평가 방법을 제시한다.
• 의료 LLM 배치에서의 공정성, 책임성, 투명성 및 윤리에 대해 논의한다.
• 의료 LLM과 관련된 오픈 소스 데이터세트, 방법론, 코드 및 벤치마크를 모은다.

Figure 1: The development from PLMs to LLMs. GPT-3 [ 17 ] marks a significant milestone in the transition from PLMs to LLMs, signaling the beginning of a new era.

실험 결과

연구 질문

• RQ1 현 시점의 의료 응용에서 LLM의 능력과 한계는 무엇인가?
• RQ2 의료 개발 및 사용에서 PLMs와 LLMs는 어떻게 다른가, 그리고 실무에 대한 시사점은 무엇인가?
• RQ3 의료 LLM에 사용되는 데이터, 학습 방법 및 평가 전략은 무엇이며, 이들이 성능과 안전성에 어떤 영향을 미치는가?
• RQ4 의료 LLM에서 제기되는 윤리, 공정성, 책임성 및 투명성 문제는 무엇이며, 이를 어떻게 해결할 수 있는가?

주요 결과

• LLMs는 NER, RE, TC, STS, QA 및 대화 생성을 포함한 다양한 의료 작업에서 발전을 가능하게 한다.
• Med-PaLM 2는 USMLE 스타일의 질문에서 높은 성능을 달성하여 의료 도메인에서 전문가 수준의 잠재력을 보여준다.
• 의료 분야에서 판별적 PLMs에서 생성적 LLM으로, 모델 중심에서 데이터 중심 개발로의 패러다임 전환이 있다.
• 의료 LLM은 점차 다중모달 데이터와 지식 그래프에 의존하여 복잡한 임상 추론과 보고를 지원한다.
• 본 설문은 비공개 의료 LLM 개발을 지원하기 위한 오픈 소스 데이터세트, 방법론, 코드 및 벤치마크를 모아 제공한다.
• 강건성, 편향, 공정성, 책임성, 투명성과 같은 윤리적 고려가 분석되며 책임 있는 배치를 위한 지침이 제시된다.

Figure 2: The organizational framework for the content. Section III , Section IV , Section V are technology details, while Section II , Section VI and Section VI are more valued for Healthcare professionals.