[論文レビュー] MindShift: Leveraging Large Language Models for Mental-States-Based Problematic Smartphone Use Intervention

Ruolan Wu, Chun Yu+10 more|arXiv (Cornell University)|Sep 28, 2023

Impact of Technology on Adolescents参考文献 100被引用数 5

ひとこと要約

MindShiftは、ユーザーのリアルタイムの状況、心理状態（退屈、ストレス、無気力）、目標、行動習慣に基づいて、動的にパーソナライズされた説得メッセージを生成する、LLM駆動で心理状態に配慮した干渉手法を提案する。5週間の現.field研究（N=25）において、MindShiftは干渉受容率を17.8–22.5%向上させ、スマートフォン使用頻度を12.1–14.4%削減し、依存度スコアを低下させるとともに自己効力感を向上させた。

ABSTRACT

Problematic smartphone use negatively affects physical and mental health. Despite the wide range of prior research, existing persuasive techniques are not flexible enough to provide dynamic persuasion content based on users' physical contexts and mental states. We first conducted a Wizard-of-Oz study (N=12) and an interview study (N=10) to summarize the mental states behind problematic smartphone use: boredom, stress, and inertia. This informs our design of four persuasion strategies: understanding, comforting, evoking, and scaffolding habits. We leveraged large language models (LLMs) to enable the automatic and dynamic generation of effective persuasion content. We developed MindShift, a novel LLM-powered problematic smartphone use intervention technique. MindShift takes users' in-the-moment app usage behaviors, physical contexts, mental states, goals \& habits as input, and generates personalized and dynamic persuasive content with appropriate persuasion strategies. We conducted a 5-week field experiment (N=25) to compare MindShift with its simplified version (remove mental states) and baseline techniques (fixed reminder). The results show that MindShift improves intervention acceptance rates by 4.7-22.5% and reduces smartphone usage duration by 7.4-9.8%. Moreover, users have a significant drop in smartphone addiction scale scores and a rise in self-efficacy scale scores. Our study sheds light on the potential of leveraging LLMs for context-aware persuasion in other behavior change domains.

研究の動機と目的

• 問題的スマートフォン使用の背後にある心理状態（退屈、ストレス、無気力）を特定すること、特に習慣的使用に注目する。
• これらの心理状態に基づいて、理解（共感）、癒し（感情的支援）、喚起（目標活性化）、行動ガイド（行動支援）の4つのターゲット型説得戦略を設計すること。
• リアルタイムで状況に応じて、パーソナライズされた説得メッセージを動的に生成するLLM駆動のシステムMindShiftを開発すること。
• スマートフォン使用頻度の低減、干渉受容率の向上、自己効力感およびメンタルウェルビーイングの向上の有効性を評価すること。

提案手法

• 問題的スマートフォン使用の背後にある核心的心理状態を特定するため、Wizard-of-Oz研究（N=12）と半構造化インタビュー（N=10）を実施した。
• 退屈、ストレス、無気力に応じた、理解（共感）、癒し（感情的支援）、喚起（目標活性化）、行動ガイド（行動支援）の4つの説得戦略を設計した。
• リアルタイム入力（アプリ使用行動、身体的状況、心理状態、ユーザーの目標、習慣）を処理するLLM駆動の干渉システムMindShiftを構築した。
• GPT-3.5を用いて、選択された戦略と文脈に整合するようにプロンプト工学を活用し、パーソナライズされ適応可能な説得メッセージを生成した。
• 5週間の被験者内被験設計（N=25）を実施し、MindShiftと簡素化版（MindShift-Simple）、およびベースライン条件を比較した。
• 定量的使用データ（頻度、時間）を収集し、標準化尺度（スマートフォン依存尺度（SAS）および自己効力感アンケート）を用いて結果を検証した。

Figure 1 . Overview of MindShift. When users exhibit problematic phone usage, MindShift actively collects data on phone usage behavior, physical contexts, and mental states, and uses the customized persuasion strategies we designed along with users’ goals and habits, to generate prompts. Then, the l

実験結果

リサーチクエスチョン

• RQ1 問題的スマートフォン使用の背後にある主な心理状態（退屈、ストレス、無気力）は何か。特に習慣的使用に注目する。
• RQ2 リアルタイムの心理状態と文脈に動的に適応した場合、理解、癒し、喚起、行動ガイドの各説得戦略は、どのように機能するか。
• RQ3 LLM駆動で文脈に配慮した干渉（例：MindShift）は、静的またはルールベースのアプローチと比較して、干渉受容率をどの程度向上させるか。
• RQ4 MindShiftは、特に習慣的使用のエピソードにおいて、スマートフォン使用頻度と時間の両方を有意に低減するか。
• RQ5 MindShiftは、ユーザーのメンタルヘルス（例：依存度スコアの低下）および自己効力感に測定可能な改善をもたらすか。

主な発見

• MindShiftは、ベースライン条件と比較して干渉受容率を17.8–22.5%向上させ、簡素化版と比較しても8.1%向上した。
• 5週間の研究期間を通じて、スマートフォン使用頻度は12.1–14.4%、使用時間は2.4–9.8%低下した。
• MindShiftの両バージョンとも、スマートフォン依存尺度（SAS）スコアが大幅に低下し、干渉群で25.8–34.7%の減少を示した。
• 自己効力感スコアは10.4–10.7%上昇し、スマートフォン使用の管理に対する自信が向上したことが示された。
• 定性的フィードバックから、ユーザーはスマートフォンへの依存が減少したと認識しており、MindShiftの継続使用意欲を示した。
• 本システムは、リアルタイムで文脈的かつ心理的に適応可能な説得コンテンツをLLMで生成する可能性を実証した。

Figure 2 . Summary of Users’ Mental States and Corresponding Persuasion Strategies Based on WoZ and Interview Studies. In the 3 x 2 table (three mental states: boredom vs. stress vs. inertia, and two activities: engage in vs. not engage in), each color denotes the persuasion strategy applicable in t