[논문 리뷰] Large Language Models are Few-Shot Health Learners

Xin Liu, Daniel McDuff외 8명|arXiv (Cornell University)|2023. 05. 24.

Machine Learning in Healthcare인용 수 34

한 줄 요약

이 논문은 24B PaLM 언어 모델이 few-shot prompt tuning을 통해 수치 건강 시계열 데이터를 근거화할 수 있음을 보이고, 심혈관, 대사, 활동, 정신 건강 과제에서 제로샷 및 일부 감독 학습 베이스라인 대비 상당한 개선을 달성한다.

ABSTRACT

Large language models (LLMs) can capture rich representations of concepts that are useful for real-world tasks. However, language alone is limited. While existing LLMs excel at text-based inferences, health applications require that models be grounded in numerical data (e.g., vital signs, laboratory values in clinical domains; steps, movement in the wellness domain) that is not easily or readily expressed as text in existing training corpus. We demonstrate that with only few-shot tuning, a large language model is capable of grounding various physiological and behavioral time-series data and making meaningful inferences on numerous health tasks for both clinical and wellness contexts. Using data from wearable and medical sensor recordings, we evaluate these capabilities on the tasks of cardiac signal analysis, physical activity recognition, metabolic calculation (e.g., calories burned), and estimation of stress reports and mental health screeners.

연구 동기 및 목표

• LLM의 시계열 데이터 근거화를 평가하기 위한 수치형 소비자 건강 과제 데이터셋을 구성한다.
• LLMs가 웰니스 및 임상 건강 과제에 보편적인 few-shot 학습기로 작용할 수 있음을 보여준다.
• 건강 과제에 대한 사전 학습된 LLM의 한계와 데이터를 통한 근거화의 이점을 식별한다.
• 적은 예시로도 강력한 결과를 얻을 수 있는 생리학적 및 행동적으로 조정된 프롬프트 기반 접근법을 제안한다.

제안 방법

• 정량적 건강 데이터를 텍스트 템플릿에 삽입하여 LLM용 질의-응답 쌍을 형성한다.
• 제로샷, 프롬프트 엔지니어링 및 프롬프트 튜닝(연성 학습 가능한 프롬프트 포함) 방법을 평가한다.
• 도메인 맥락을 포함한 프롬프트(context-inclusive)과 숫자만 프롬프트(numerical-only)를 비교하여 시계열 데이터 근거화에서 맥락의 역할을 평가한다.
• 대형 텍스트와 코드에 대해 사전 학습된 24B 트랜스포머(PaLM)를 사용하고, 5,000단계 튜닝과 4096x1 프롬프트 임베딩을 적용한다.
• 동일한 소수-shot 샘플로 학습된 감독형 베이스라인(4096x1의 MLP)을 포함하여 비교한다.

실험 결과

연구 질문

• RQ1 대형 언어 모델이 수치형 시계열 건강 데이터를 근거화하고few-shot 프롬프트로 임상 및 웰니스 과제에서 의미 있는 추론을 수행할 수 있는가?
• RQ2 프롬프트 튜닝(제로샷 또는 프롬프트 엔지니어링 대비)이 건강 관련 시계열 과제의 성능에 어떤 영향을 미치는가?
• RQ3 프롬프트에 도메인 맥락(context-inclusive)을 포함하는 것과 원시 수치 데이터(numerical-only)의 정확도에 어떤 영향이 있는가?
• RQ4 건강 과제에 LLM을 사용할 때의 한계와 잠재적 위험은 무엇이며, 근거화 접근법이 이를 어떻게 완화하는가?

주요 결과

• context-inclusive 프롬프트를 가진 프롬프트 튜닝된 LLM은 여러 건강 과제에서 제로샷 및 감독 학습 베이스라인보다 우수하다.
• 일부 과제에서 25-shot 프롬프트에서 튜닝된 프롬프트로 전환할 때 특정 베이스라인 대비 최대 130% 개선이 포함된다.
• 맥락 포함 프롬프트는 부분적으로 수치 전용 프롬프트에 비해 정확도를 전반적으로 향상시킨다(예: 심방세동 분류, 활동 인식과 같은 과제에서).
• 프롬프트 튜닝은 긴 시계열 입력에서 실패율을 줄였고(0% 실패) 프롬프트 엔지니어링 접근법은 데이터 실패가 많이 발생했다.
• 제로샷 LLM은 많은 생리학적 과제에서 성능이 저하되어 건강 응용에서 근거화 및/또는 맥락의 필요성을 강조한다.
• 과제 전반에서 튜닝된 LLM은 제로샷 대비 오차를 크게 줄이고 정확도를 높이며, 일부 경우 감독 베이스라인 대비서도 개선된다.