[논문 리뷰] GPTCoach: Towards LLM-Based Physical Activity Coaching

Matthew Jörke, Shardul Sapkota외 5명|arXiv (Cornell University)|2024. 05. 09.

Digital Mental Health Interventions인용 수 8

한 줄 요약

GPTCoach는 증거 기반 건강 코칭 프로그램을 구현하는 LLM 기반 챗봇이며, 동기 면담 전략을 사용하고 신체 활동 행동 변화를 지원하기 위해 웨어러블 건강 데이터를 조회할 수 있습니다; 16명의 참가자로 기술 프로브로 평가되었습니다.

ABSTRACT

Mobile health applications show promise for scalable physical activity promotion but are often insufficiently personalized. In contrast, health coaching offers highly personalized support but can be prohibitively expensive and inaccessible. This study draws inspiration from health coaching to explore how large language models (LLMs) might address personalization challenges in mobile health. We conduct formative interviews with 12 health professionals and 10 potential coaching recipients to develop design principles for an LLM-based health coach. We then built GPTCoach, a chatbot that implements the onboarding conversation from an evidence-based coaching program, uses conversational strategies from motivational interviewing, and incorporates wearable data to create personalized physical activity plans. In a lab study with 16 participants using three months of historical data, we find promising evidence that GPTCoach gathers rich qualitative information to offer personalized support, with users feeling comfortable sharing concerns. We conclude with implications for future research on LLM-based physical activity support.

연구 동기 및 목표

• 건강 전문가가 신체 활동의 장벽을 극복하기 위해 어떻게 코칭하는지와 이러한 전략에 LLM이 무엇을 기여할 수 있는지 식별한다.
• 자가 추적 데이터가 활동 촉진에 어떻게 사용되는지 평가하고, LLM이 이러한 데이터를 코칭에 어떻게 활용할 수 있을지 평가한다.
• 확립된 코칭 프로그램과 MI 기법에 기초한 촉진적이고 비처방적인 AI 코치를 설계한다.
• 대화에서의 GPTCoach의 코칭 원칙 준수와 데이터 사용을 평가한다.

제안 방법

• LLM 건강 코치에 대한 설계 고려사항을 도출하기 위해 12명의 건강 전문가와 10명의 비전문가를 대상으로 형성기 인터뷰를 실시한다.
• 유효성 평가된 건강 코칭 프로그램과 동기 면담 기법에 맞춘 온보딩 대화로 GPTCoach를 개발한다.
• HealthKit을 통해 웨어러블 데이터를 가져오고 UI에 시각화하기 위한 도구 호출을 포함한 데이터 및 프롬프트 파이프라인을 구현한다.
• 코칭 프로그램, MI 전략, 적절한 데이터 사용 준수를 보장하기 위해 프롬프트 체이닝을 활용한다.
• MI 행동, 코칭 준수, 데이터 활용을 평가하기 위해 16명의 참가자로 프로토타입 및 파일럿 테스트를 수행한다.

실험 결과

연구 질문

• RQ1 RQ1: 건강 전문가가 사용하는 코칭 전략은 무엇이며 어떤 전략이 LLM에 채택되어 신체 활동의 장벽을 극복할 수 있는가?
• RQ2 RQ2: 건강 전문가가 자가 추적 데이터를 어떻게 활용하는가, 그리고 LLM이 이 데이터를 활용하여 활동을 촉진하는 방법은 무엇인가?
• RQ3 RQ3: 개인 데이터를 통합하면서 LLM 기반 코치가 촉진적이고 비판단적인 코칭 스타일을 유지할 수 있는가?
• RQ4 RQ4: 프롬프트 체이닝이 LLM에서 구조화된 코칭 프로그램에 대한 준수를 얼마나 효과적으로 강제할 수 있는가?
• RQ5 RQ5: 데이터 사용 및 개인화 측면에서 LLM을 건강 코칭에 사용하는 것의 위험과 한계는 무엇인가?

주요 결과

• MI-consistent or neutral behaviors occurred 84% of the time in automated MI coding.
• Participants reported feeling supported and comfortable sharing concerns with the chatbot.
• Prompt chaining helped GPTCoach adhere to the coaching program and initiate appropriate tool calls.
• Data use by GPTCoach was more variable, with some conversations leveraging data for motivation and others not proactively integrating data.
• Compared to vanilla GPT-4, GPTCoach showed greater alignment with MI principles, asking more open questions and giving less unsolicited advice.
• Participants believed AI could augment data analysis for goal setting and accountability, but privacy and personalization challenges remained.