[論文レビュー] Structured Exploration vs. Generative Flexibility: A Field Study Comparing Bandit and LLM Architectures for Personalised Health Behaviour Interventions

Dominik P. Hofer, Haochen Song+6 more|arXiv (Cornell University)|Mar 6, 2026

Digital Mental Health Interventions被引用数 0

ひとこと要約

研究は、個別化された健康行動介入のために文脈バンディットとLLMを組み合わせた5つの日次メッセージング手法を4週間のフィールド研究（N=54）で比較。LLMsはテンプレートより優れている；バンディットの最適化は知覚的な追加利益を提供しない。

ABSTRACT

Behaviour Change Techniques (BCTs) are central to digital health interventions, yet selecting and delivering effective techniques remains challenging. Contextual bandits enable statistically grounded optimisation of BCT selection, while Large Language Models (LLMs) offer flexible, context-sensitive message generation. We conducted a 4-week study on physical activity motivation (N=54; 9 post-study interviews) that compared five daily messaging approaches: random templates, contextual bandit with templates, LLM generation, hybrid bandit+LLM, and LLM with interaction history. LLM-based approaches were rated substantially more helpful than templates, but no significant differences emerged among LLM conditions. Unexpectedly, bandit optimisation for BCTs selection yielded no additional perceived helpfulness compared with LLM-only approaches. Unconstrained LLMs focused heavily on a single BCT, whereas bandit systems enforced systematic exploration-exploitation across techniques. Quantitative and qualitative findings suggest contextual acknowledgement of user input drove perceived helpfulness. We contribute design suggestions for reflective AI health behaviour change systems that address a trade-off between structured exploration and generative autonomy.

研究の動機と目的

• デジタルヘルス介入におけるBCTsの選択と提供方法を動機づける。
• 文脈バンディットがLLMベースのメッセージングよりBCTの選択を改善するかを調べる。
• 健康メッセージングにおける構造化探索と生成的柔軟性のトレードオフを検討する。
• 実世界の設定で、さまざまなメッセージング手法のユーザー認知上の有用性を評価する。

提案手法

• 5つの日次メッセージング手法を評価するため、54名の参加者を対象とした4週間のフィールド研究を実施する。
• ランダムテンプレート、テンプレート付き文脈バンディット、LLM生成、ハイブリッドバンディット+LLM、履歴との対話を含むLLMを比較する。
• 知覚的な有用性と動機づけの結果を測定し、研究後インタビュー（N=9）で補完する。
• 知覚効果を駆動する要因を特定するために定性的フィードバックを分析する。
• 技術間で、制約のないLLMの焦点と、技術間でのバンディット enforced探索-利用を対比する。

実験結果

リサーチクエスチョン

• RQ1 LLMベースのメッセージング手法は、ランダムテンプレートおよびバンディット支援メソッドと比較して知覚的有用性を高めるか。
• RQ2 BCT選択のためのバンディット最適化を追加しても、LLMのみのアプローチを超える知覚的利益をもたらすか。
• RQ3 ユーザーの入力 acknowledging が知覚的有用性と動機づけに果たす役割は何か。
• RQ4 AI健康行動変化システムの設計において、構造化探索と生成的柔軟性はどのようにトレードオフされるか。

主な発見

• LLMベースのアプローチは、テンプレートより大幅に有用と評価された。
• LLM条件間で有意差は見られなかった。
• BCT選択のためのバンディット最適化は、LLMのみアプローチと比較して追加の知覚的有用性を生まなかった。
• 制約のないLLMは単一のBCTに焦点を合わせる傾向があり、一方でバンディットシステムは技術間での体系的な探索-利用を強制した。
• ユーザー入力の文脈的承認が知覚的有用性を高めた。