[논문 리뷰] Sensing What Surveys Miss: Understanding and Personalizing Proactive LLM Support by User Modeling

Ailin Liu, Yesmine Karoui외 3명|arXiv (Cornell University)|2026. 01. 31.

Digital Mental Health Interventions인용 수 0

한 줄 요약

이 논문은 생리 신호(EDA)와 행동 신호(마우스)를 이용해 사용자가 도움을 필요로 하는 시점을 예측하고, 사용자별 임계값을 개인화하며, 타이밍에 맞춘 정확도 및 사용자 경험 개선을 보여주는 적응적이고 적극적인 LLM 보조 설문 지원 시스템을 제시한다.

ABSTRACT

Difficulty spillover and suboptimal help-seeking challenge the sequential, knowledge-intensive nature of digital tasks. In online surveys, tough questions can drain mental energy and hurt performance on later questions, while users often fail to recognize when they need assistance or may satisfy, lacking motivation to seek help. We developed a proactive, adaptive system using electrodermal activity and mouse movement to predict when respondents need support. Personalized classifiers with a rule-based threshold adaptation trigger timely LLM-based clarifications and explanations. In a within-subjects study (N=32), aligned-adaptive timing was compared to misaligned-adaptive and random-adaptive controls. Aligned-adaptive assistance improved response accuracy by 21%, reduced false negative rates from 50.9% to 22.9%, and improved perceived efficiency, dependability, and benevolence. Properly timed interventions prevent cascades of degraded responses, showing that aligning support with cognitive states improves both the outcomes and the user experience. This enables more effective, personalized LLM-assisted support in survey-based research.

연구 동기 및 목표

• 자가 관리 설문에서 인지 과부하 및 데이터 품질 저하를 방지하기 위한 실시간, 개인화된 지원의 필요성을 제시한다.
• 생리 신호(EDA)와 행동 신호(마우스)를 융합해 응답자가 도움을 필요로 하는 시점을 예측하는 적응 시스템을 개발한다.
• 그래디언트 기반 미세조정과 규칙 기반 임계값 적응을 통해 사용자별 개입 시점을 개인화한다.
• 동일 피험자 내 비교 연구를 통해 정렬된-적응, 부정렬된-적응, 무작위-적응 타이밍을 평가한다.
• 적시에 적절히 타이밍된 적극적 지원이 정확도와 사용자 경험을 개선하고 인지적 부담을 감소시키는지 입증한다.

제안 방법

• 웹 기반 다지표 데이터(EDA, 마우스 동역학, 시선 추적, ECG)를 조작된 난이도의 객관식 과제에서 수집한다.
• SelectKBest with f_regression를 사용해 two unimodal baseline 모델(지속적 EDA 변화와 마우스 움직임 특징)을 구동할 정보를 선택한다.
• 최종 과부하 점수를 EDA 기반 예측과 마우스 기반 예측의 최대값으로 계산한다: y_Final = max(y_Mouse, y_EDA).
• 보정 단계와 한 번의 스냅샷 그라디언트 업데이트를 이용한 L2 정규화를 포함한 그래디언트 하강법으로 사용자별 모델을 개인화한다.
• 사용자 상호작용 및 결과를 바탕으로 타이밍을 다듬기 위해 규칙 기반 업데이트로 중재 임계값을 동적으로 조정한다.
• 개입 후 사용자가 텍스트를 선택할 때 설명을 생성하기 위해 로컬에서 호스팅되는 LLaMA-2-7B 모델을 통합한다.

Figure 1 . Screenshots of the experimental interface: (a) calibration phase, (b) rest break, (c) condition task question, (d) adaptive helper triggered, (e) waiting for user selecting text, and (f) assistance provided by the system.

실험 결과

연구 질문

• RQ1 정렬된-적응 타이밍의 적극적 LLM 도움은 부적절한 정렬-적응 및 무작위-적응 타이밍에 비해 작업 정확도를 향상시키는가?
• RQ2 정렬된-적응 중재가 효율성, 신뢰성, 자비로움 측면에서 더 나은 사용자 경험을 제공하고 업무 부하를 낮추는가?
• RQ3 생리 신호(EDA) 및 행동 신호(마우스)가 순간의 인지 과부하를 충분히 예측해 시기 적절한 지원을 촉발하는가?
• RQ4 개인별 임계값 조정과 같은 개인화가 참여자 간 중재 효과에 어떤 영향을 미치는가?
• RQ5 타이밍이 설문형 작업에서 악화된 응답의 연쇄를 예방하는 데 어떤 영향을 미치는가?

주요 결과

• 정렬된-적응 타이밍은 응답 정확도를 41%에서 62%로 증가시켰다.
• 정렬된-적응 타이밍은 컨트롤 대비 놓친 지원 기회를 줄였다.
• 참여자들은 효율성, 신뢰성, 자비로움 측면에서 정렬된-적응 시스템을 더 높게 평가했다.
• 정렬된-적응 타이밍 하에서 시스템의 수용률이 가장 높았다.
• 보정 및 그래디언트 업데이트를 통한 개인화가 예측을 개인의 인지 부하와 맞추는 데 도움이 되었다.
• 실시간 인지 상태와 일치하는 적극적이고 시의적절한 LLM 설명은 더 나은 결과와 사용자 경험으로 이어졌다.

Figure 2 . Rule-based threshold adaptation logic per trial: positive changes increase the threshold (fewer future interventions), negative changes decrease it (more future interventions).