[論文レビュー] Persuading to Prepare for Quitting Smoking with a Virtual Coach: Using States and User Characteristics to Predict Behavior

Nele Albers, Mark A. Neerincx+1 more|arXiv (Cornell University)|Apr 5, 2023

Behavioral Health and InterventionsPsychology被引用数 3

ひとこと要約

本研究では、行動変容支援のための強化学習（RL）ベースのバーチャルコーチにおいて、ユーザーの状態と特徴が行動予測に与える影響を評価している。状態は行動および将来の状態予測を著しく向上させるが、ユーザーの特徴（例：関与度）は状態と組み合わせて使用される場合にのみ有効であり、個別化されたeヘルス説得アルゴリズムへの統合を支持する。

ABSTRACT

Despite their prevalence in eHealth applications for behavior change, persuasive messages tend to have small effects on behavior. Conditions or states (e.g., confidence, knowledge, motivation) and characteristics (e.g., gender, age, personality) of persuadees are two promising components for more effective algorithms for choosing persuasive messages. However, it is not yet sufficiently clear how well considering these components allows one to predict behavior after persuasive attempts, especially in the long run. Since collecting data for many algorithm components is costly and places a burden on users, a better understanding of the impact of individual components in practice is welcome. This can help to make an informed decision on which components to use. We thus conducted a longitudinal study in which a virtual coach persuaded 671 daily smokers to do preparatory activities for quitting smoking and becoming more physically active, such as envisioning one's desired future self. Based on the collected data, we designed a Reinforcement Learning (RL)-approach that considers current and future states to maximize the effort people spend on their activities. Using this RL-approach, we found, based on leave-one-out cross-validation, that considering states helps to predict both behavior and future states. User characteristics and especially involvement in the activities, on the other hand, only help to predict behavior if used in combination with states rather than alone. We see these results as supporting the use of states and involvement in persuasion algorithms. Our dataset is available online.

研究の動機と目的

• eヘルスアプリケーションにおける説得的介入後の行動予測に、アルゴリズムの構成要素（ユーザーの状態と特徴）が個別に与える影響を理解すること。
• データ収集負担を軽減し、ユーザーの負担を最小限に抑え、コスト効率を向上させるために、行動予測に最も効果的な構成要素を同定すること。
• 縦断的行動変容介入において、状態（例：自信、動機づけ）とユーザー特徴（例：年齢、性別、関与度）のどちらが行動予測により効果的であるかを評価すること。
• 状態と特徴を組み合わせることで、単体で使用する場合よりも予測精度が向上するかどうかを評価すること。
• eヘルスシステムに統合する上で、高い影響を持つ構成要素を同定することで、より効果的で使いやすい説得アルゴリズムの設計を支援すること。

提案手法

• 671名の日常喫煙者を対象に、喫煙断薬のための準備活動および身体活動の増加を促すバーチャルコーチを用いた縦断的研究を実施した。
• 複数の時間点で、ユーザーの状態（COM-B自己評価アンケートを用いて）およびユーザー特徴（例：年齢、性別、パーソナリティ、関与度）のデータを収集した。
• 現在の状態と将来の状態をモデル化することで、ユーザーの準備活動への努力を最大化する強化学習（RL）フレームワークを適用した。
• 予測性能を評価するために、留数法（leave-one-out cross-validation）を用いた。状態、特徴、または両方を用いたモデルの性能を比較した。
• 状態行動理論（COM-B）に基づく特徴から得られる状態特徴を用いて、状態行動ペアに基づく遷移確率と期待される努力を学習するRLモデルを訓練した。
• 行動のアウトカムとして自己報告された努力を用い、行動および将来の状態の両方の予測精度を評価した。

Figure 1. Left axis: Mean $L_{1}$ -error with 95% CIs for predicting rewards based on 1) the mean reward per action and 2) the mean reward per action and state. Right axis: Mean reward overall and per state.

実験結果

リサーチクエスチョン

• RQ1 縦断的eヘルス介入において、ユーザーの状態はその後の行動および将来の状態をどれほどよく予測できるか？
• RQ2 ユーザー特徴（例：年齢、性別、パーソナリティ、関与度）を単体で使用した場合、行動をどれほどよく予測できるか？
• RQ3 ユーザーの状態と特徴を組み合わせることで、単体で使用する場合よりも予測精度が向上するか？
• RQ4 行動変容の時間的経過に伴い、状態と特徴のどちらが行動予測に寄与しているかの相対的な貢献度は何か？
• RQ5 現在の状態と将来の状態を組み込んだRLモデルは、準備的健康活動へのユーザーの関与を効果的に予測できるか？

主な発見

• ユーザーの状態を考慮することで、バーチャルコーチ干渉における現在の行動および将来の状態の両方の予測が著しく向上する。
• 関与度を含むユーザー特徴単体では、状態情報と組み合わせない限り、行動を信頼性高く予測できない。
• 状態と活動への関与度を組み合わせることで、単体で使用する場合よりも優れた予測性能が得られる。
• RLベースのアプローチは、状態間の動的遷移を効果的にモデル化でき、将来の状態を考慮した説得戦略の価値を示している。
• 本研究のデータセットは公開されており、再現性および個別化されたeヘルス介入分野におけるさらなる研究を支援する。
• 行動変容のモデリングにおいて、特徴単体よりも状態がより効果的であるという結果が得られ、RL駆動の説得アルゴリズムへの統合を支持する。

Figure 2. Comparison of three approaches to predicting next states with regards to the mean likelihood of next states with 95% CIs for each state.