[論文レビュー] PlanFitting: Personalized Exercise Planning with Large Language Model-driven Conversational Agent

Dong-Hoon Shin, Gary Hsieh+1 more|arXiv (Cornell University)|Sep 22, 2023

Innovative Human-Technology Interaction被引用数 5

ひとこと要約

PlanFitting は、自然言語による対話によって、個人に合わせた根拠に基づいた週間運動計画を大規模言語モデル（LLM）を用いて生成する会話型AIシステムである。対話によってユーザーの制約を収集し、IF-THEN実行意思決定の形で計画を表現することで、実行可能で柔軟な計画を生成し、専門家が人間プランナーが作成した計画と同等であると評価した。

ABSTRACT

Creating personalized and actionable exercise plans often requires iteration with experts, which can be costly and inaccessible to many individuals. This work explores the capabilities of Large Language Models (LLMs) in addressing these challenges. We present PlanFitting, an LLM-driven conversational agent that assists users in creating and refining personalized weekly exercise plans. By engaging users in free-form conversations, PlanFitting helps elicit users' goals, availabilities, and potential obstacles, and enables individuals to generate personalized exercise plans aligned with established exercise guidelines. Our study -- involving a user study, intrinsic evaluation, and expert evaluation -- demonstrated PlanFitting's ability to guide users to create tailored, actionable, and evidence-based plans. We discuss future design opportunities for LLM-driven conversational agents to create plans that better comply with exercise principles and accommodate personal constraints.

研究の動機と目的

• 個々のスケジュール、目標、制約に適合する個人化された運動計画を作成する課題に対処すること。
• 高価またはアクセスが難しい専門家プランナーに依存するのを減らし、LLMを用いて反復的でユーザー主導の計画を実現すること。
• 実行意思決定（IF-THENルール）として計画を表現することで、状況に応じた明確な手がかりを提供し、計画の遂行率を向上させること。
• LLMが計画作成中に見過ごされた制約やリスクを特定する役割を果たす方法を探ること。
• ユーザースタディおよび専門家評価を通じて、LLMが生成する計画の実現可能性と質を評価すること。

提案手法

• ユーザーが目標、利用可能時間、潜在的な障害物を説明できる、Webベースの会話インターフェースを通じてLLM駆動のエージェントと対話する。
• LLMが自然言語による対話によってユーザーの制約を動的に収集・解釈し、包括的な入力を促す。
• 計画は、IF I have time on Tuesday at 6 PM, THEN I will do 30 minutes of strength training などの実行意思決定（IF-THENルール）の形で生成され、状況に応じたヒントによって遂行率が向上する。
• 専門家ガイドラインとキュレートされたデータセットから得た運動知識を統合することで、計画の根拠と安全性を保証する。
• 会話による反復的検証と修正により、ユーザー入力をリアルタイムで適応・改善する。
• 専門家プランナーが最終的な計画の臨床的妥当性、個人化、実現可能性について評価した。

Figure 1 . Key screen of the PlanFitting system. As the user chats with the system on the chat panel (right), PlanFitting leads the conversation and collects the user’s personal constraints ( \footnotesize{A}⃝ ), recommends exercise types ( \footnotesize{B}⃝ ) based on the constraints, and sets up p

実験結果

リサーチクエスチョン

• RQ1 LLM駆動の会話型エージェントは、自然言語対話によって運動計画のための包括的な個人的制約（目標、利用可能時間、障害物）を効果的に抽出できるか？
• RQ2 ユーザーは、LLMエージェントが生成した計画の明確さ、個人化、実行可能性を、専門家が作成した計画と比較してどのように評価するか？
• RQ3 LLMが生成する計画は、人間の専門家が作成した計画の質と安全性基準にどの程度達しているか？
• RQ4 実行意思決定（IF-THENルール）の使用は、計画の遂行率とユーザーの理解度を向上させることができるか？
• RQ5 計画作成プロセス中に、LLMが見過ごされたリスクや不適切に野心的な計画を事前に特定する役割を果たすことができるか？

主な発見

• 専門家プランナーは、PlanFitting が生成した運動計画を、人間プランナーが作成した計画と同等の質と実現可能性であると評価した。これは、臨床ガイドラインに整合していることを示している。
• 参加者は、IF-THEN 実行意思決定形式が非常に理解しやすく、柔軟で、曖昧または厳密な時間指定による指示と比較して優れていると感じた。
• 会話インターフェースにより、ユーザーは複雑な制約を自然に表現でき、事前の明示的指定の負担が軽減され、段階的で繰り返しの修正が可能になった。
• LLMは、運動科学の知識がなくても、個人に合わせた実行可能で根拠に基づいた計画を生成できることを示した。
• ユーザーが指定した利用可能時間に厳密に従った結果、計画が不適切に野心的になる事例が観察された。これは、将来のAI駆動のリスクチェック機能の必要性を示唆している。
• 後からAIが生成したチェックリストを通じて、見過ごされた制約を特定する可能性が示された。これは、安全性と持続可能性を高める道筋を示している。

Figure 2 . Illustration of how the PlanFitting computes and returns the next dialogue of the chatbot and updates the dashboard, based on the current dialogues