[논문 리뷰] MindShift: Leveraging Large Language Models for Mental-States-Based Problematic Smartphone Use Intervention

Ruolan Wu, Chun Yu외 10명|arXiv (Cornell University)|2023. 09. 28.

Impact of Technology on Adolescents참고 문헌 100인용 수 5

한 줄 요약

MindShift는 사용자의 실시간 환경, 정서 상태(지루함, 스트레스, 관성), 목표 및 습관을 기반으로 개인화된 설득 메시지를 동적으로 생성하는 LLM 기반의 정서 인식 간섭 기술을 제안한다. 5주간의 현장 연구(N=25)에서 MindShift는 간섭 수용률을 17.8–22.5% 향상시키고, 스마트폰 사용 빈도를 12.1–14.4% 감소시키며, 중독 점수는 낮추고 자기효능감을 높였다.

ABSTRACT

Problematic smartphone use negatively affects physical and mental health. Despite the wide range of prior research, existing persuasive techniques are not flexible enough to provide dynamic persuasion content based on users' physical contexts and mental states. We first conducted a Wizard-of-Oz study (N=12) and an interview study (N=10) to summarize the mental states behind problematic smartphone use: boredom, stress, and inertia. This informs our design of four persuasion strategies: understanding, comforting, evoking, and scaffolding habits. We leveraged large language models (LLMs) to enable the automatic and dynamic generation of effective persuasion content. We developed MindShift, a novel LLM-powered problematic smartphone use intervention technique. MindShift takes users' in-the-moment app usage behaviors, physical contexts, mental states, goals \& habits as input, and generates personalized and dynamic persuasive content with appropriate persuasion strategies. We conducted a 5-week field experiment (N=25) to compare MindShift with its simplified version (remove mental states) and baseline techniques (fixed reminder). The results show that MindShift improves intervention acceptance rates by 4.7-22.5% and reduces smartphone usage duration by 7.4-9.8%. Moreover, users have a significant drop in smartphone addiction scale scores and a rise in self-efficacy scale scores. Our study sheds light on the potential of leveraging LLMs for context-aware persuasion in other behavior change domains.

연구 동기 및 목표

• 문제적 스마트폰 사용의 배경이 되는 정서 상태—지루함, 스트레스, 관성—을 규명하는 것.
• 이러한 정서 상태에 맞춰 설계된 네 가지 타겟팅된 설득 전략(이해, 위로, 자극, 습관 구조화)을 개발하는 것.
• 실시간으로 사용자 환경, 정서 상태, 목표, 습관을 기반으로 동적이고 상황 인식 및 개인화된 설득 메시지를 생성하는 LLM 기반 시스템인 MindShift를 개발하는 것.
• MindShift의 효과성을 평가하여 스마트폰 사용 빈도 감소, 간섭 수용률 향상, 자기효능감 및 정서적 웰빙 향상 여부를 확인하는 것.

제안 방법

• 문제적 스마트폰 사용의 핵심 정서 상태를 규명하기 위해 워즈더오즈 연구(N=12)와 반구조화된 인터뷰(N=10)를 수행했다.
• 지루함, 스트레스, 관성에 대응하는 네 가지 설득 전략—이해(공감), 위로(정서적 지지), 자극(목표 활성화), 습관 구조화(행동 지침)—를 설계했다.
• 실시간 입력 정보인 앱 사용 행동, 신체적 환경, 정서 상태, 사용자 목표, 습관을 수신하는 LLM 기반 간섭 시스템인 MindShift를 구축했다.
• 선택된 전략과 상황에 부합하는 프롬프트 엔지니어링을 활용해 GPT-3.5를 사용해 개인화되고 적응형 설득 메시지를 생성했다.
• 5주간의 내부 대조 설계 현장 실험(N=25)을 실시하여, MindShift를 단순화된 버전(MindShift-Simple)과 기준 조건과 비교했다.
• 정량적 사용 데이터(빈도, 지속 시간)를 수집하고, 표준 척도를 사용해 결과를 검증했다: 스마트폰 중독 척도(SAS) 및 자기효능감 설문지.

Figure 1 . Overview of MindShift. When users exhibit problematic phone usage, MindShift actively collects data on phone usage behavior, physical contexts, and mental states, and uses the customized persuasion strategies we designed along with users’ goals and habits, to generate prompts. Then, the l

실험 결과

연구 질문

• RQ1 문제적 스마트폰 사용의 근본 원인인 정서 상태—지루함, 스트레스, 관성—은 무엇인가? 특히 습관적 사용과 관련하여.
• RQ2 실시간 정서 상태와 상황에 맞춰 동적으로 조정되는 다양한 설득 전략(이해, 위로, 자극, 습관 구조화)은 어떻게 성능을 발휘하는가?
• RQ3 LLM 기반의 상황 인식 간섭 기술인 MindShift는 정적 또는 규칙 기반 접근 방식에 비해 간섭 수용률을 얼마나 향상시키는가?
• RQ4 MindShift는 습관적 사용 기간 동안 스마트폰 사용 빈도와 지속 시간을 유의미하게 감소시키는가?
• RQ5 MindShift는 사용자의 정서 건강(예: 중독 점수 감소)과 자기효능감 향상에 실질적인 개선을 이끌 수 있는가?

주요 결과

• MindShift는 기준 조건 대비 17.8–22.5% 높은 간섭 수용률을 기록했고, 단순화된 버전 대비 8.1% 높았다.
• 5주간 연구 기간 동안 스마트폰 사용 빈도는 12.1–14.4% 감소했고, 사용 지속 시간은 2.4–9.8% 감소했다.
• MindShift의 두 버전 모두 스마트폰 중독 척도(SAS) 점수에 심각한 감소를 보였으며, 간섭군에서 25.8–34.7% 감소했다.
• 사용자들은 자기효능감 점수를 10.4–10.7% 향상시켜 스마트폰 사용을 관리하는 데 대한 자신감이 향상된 것으로 나타났다.
• 정성적 피드백은 사용자들이 스마트폰 의존도가 감소했다고 인지하고 있으며, MindShift를 계속 사용하고자 하는 의향을 보였다.
• 시스템은 실시간으로 상황 및 심리적 적합성을 고려한 설득 콘텐츠를 생성하는 데 있어 LLM의 가능성을 입증했다.

Figure 2 . Summary of Users’ Mental States and Corresponding Persuasion Strategies Based on WoZ and Interview Studies. In the 3 x 2 table (three mental states: boredom vs. stress vs. inertia, and two activities: engage in vs. not engage in), each color denotes the persuasion strategy applicable in t