[논문 리뷰] PlanFitting: Personalized Exercise Planning with Large Language Model-driven Conversational Agent

Dong-Hoon Shin, Gary Hsieh외 1명|arXiv (Cornell University)|2023. 09. 22.

Innovative Human-Technology Interaction인용 수 5

한 줄 요약

PlanFitting은 대규모 언어 모델(LLM)을 사용하여 자연어 상호작용을 통해 개인화되고 증거 기반인 주간 운동 계획을 생성하는 대화형 AI 시스템입니다. 대화를 통해 사용자의 제약 조건을 수집하고, 계획을 IF-THEN 실행 의도 형태로 표현함으로써 전문가가 작성한 계획과 유사한 실행 가능하고 유연한 계획을 생성합니다.

ABSTRACT

Creating personalized and actionable exercise plans often requires iteration with experts, which can be costly and inaccessible to many individuals. This work explores the capabilities of Large Language Models (LLMs) in addressing these challenges. We present PlanFitting, an LLM-driven conversational agent that assists users in creating and refining personalized weekly exercise plans. By engaging users in free-form conversations, PlanFitting helps elicit users' goals, availabilities, and potential obstacles, and enables individuals to generate personalized exercise plans aligned with established exercise guidelines. Our study -- involving a user study, intrinsic evaluation, and expert evaluation -- demonstrated PlanFitting's ability to guide users to create tailored, actionable, and evidence-based plans. We discuss future design opportunities for LLM-driven conversational agents to create plans that better comply with exercise principles and accommodate personal constraints.

연구 동기 및 목표

• 개인의 스케줄, 목표 및 제약 조건과 일치하는 개인화된 운동 계획을 수립하는 데 도전하는 것.
• 비용이 많이 들거나 접근이 어려운 전문가 계획가에 대한 의존도를 줄이기 위해, 반복적이고 사용자 중심의 계획 수립을 위해 LLM을 활용하는 것.
• 실행 의도(IF-THEN 규칙) 형태로 계획을 표현함으로써 맥락에 맞는 자극을 제공하고, 계획 이행률을 높이는 것.
• LLM이 계획 수립 과정에서 간과된 제약 조건이나 위험 요소를 식별하는 데 어떻게 기여할 수 있는지 탐색하는 것.
• 사용자 연구와 전문가 평가를 통해 LLM이 생성한 계획의 타당성과 품질을 평가하는 것.

제안 방법

• 사용자가 목표, 가능 시간대, 잠재적 장애 요소를 기술할 수 있도록 웹 기반 대화 인터페이스를 통해 LLM 기반 에이전트와 상호작용하는 시스템.
• LLM이 자연어 대화를 통해 사용자의 제약 조건을 동적으로 수집하고 해석하며, 포괄적인 입력을 유도하는 가이드라인을 제공.
• 계획은 예를 들어 '화요일 오후 6시에 시간이 있다면 30분간 근력 운동을 한다'와 같은 IF-THEN 실행 의도 형태로 생성되어 맥락 기반의 자극을 통해 이행률을 향상.
• 전문가 지침과 정제된 데이터셋에서 유래한 운동 지식을 통합하여 계획의 증거 기반성과 안전성을 확보.
• 사용자 입력은 대화를 통해 반복적으로 검증 및 보완되어 실시간으로 적응 가능한 형태로 개선.
• 전문가 계획가들이 최종 계획의 임상적 타당성, 개인화 수준 및 실행 가능성에 대해 평가함.

Figure 1 . Key screen of the PlanFitting system. As the user chats with the system on the chat panel (right), PlanFitting leads the conversation and collects the user’s personal constraints ( \footnotesize{A}⃝ ), recommends exercise types ( \footnotesize{B}⃝ ) based on the constraints, and sets up p

실험 결과

연구 질문

• RQ1 LLM 기반 대화형 에이전트는 자연어 대화를 통해 운동 계획을 수립하기 위해 필요한 포괄적인 개인 제약 조건(목표, 가능 시간대, 장애 요소 등)을 효과적으로 확보할 수 있는가?
• RQ2 사용자들은 LLM 에이전트가 생성한 계획이 전문가가 작성한 계획과 비교해 명확성, 개인화 수준 및 실행 가능성 면에서 어떻게 평가하는가?
• RQ3 LLM이 생성한 계획이 인간 전문가가 작성한 계획의 품질 및 안전 기준과 얼마나 유사한가?
• RQ4 실행 의도(IF-THEN 규칙)의 사용이 계획 이행률 향상과 사용자 이해도 향상에 얼마나 기여하는가?
• RQ5 계획 수립 과정에서 LLM이 간과된 위험 요소나 지나치게 과도한 계획을 사전에 식별하는 데 어떤 역할을 할 수 있는가?

주요 결과

• 전문가 계획가들이 PlanFitting이 생성한 운동 계획을 인간 전문가가 작성한 계획과 유사한 품질과 실행 가능성으로 평가하여 임상 지침과의 높은 일치도를 확인함.
• 참가자들은 IF-THEN 실행 의도 형식이 매우 이해하기 쉽고 적응 가능하다고 평가하였으며, 모호하거나 엄격한 시간 기반 지침보다 특히 유리함.
• 대화형 인터페이스를 통해 사용자는 복잡한 제약 조건을 자연스럽게 표현할 수 있었고, 초도 사양의 부담을 줄이고 반복적 보완을 지원함.
• LLM은 운동 과학 지식이 없는 사용자도 개인화되고 실행 가능한, 증거 기반 계획을 생성할 수 있도록 기여함.
• 사용자가 지정한 가능 시간에 대한 LLM의 엄격한 준수로 인해 일부 경우 과도하게 과도한 계획이 생성된 사례를 관찰하여, 향후 AI 기반 위험 점검 기능이 필요함을 시사함.
• 후행적으로 AI가 생성한 체크리스트를 통해 간과된 제약 조건을 식별할 잠재력이 있는 것으로 나타나, 안전성과 지속 가능성 향상의 길을 제시함.

Figure 2 . Illustration of how the PlanFitting computes and returns the next dialogue of the chatbot and updates the dashboard, based on the current dialogues