[論文レビュー] Multimodal Privacy-preserving Mood Prediction from Mobile Data: A Preliminary Study

Terrance Liu, Paul Pu Liang+6 more|arXiv (Cornell University)|Dec 4, 2020

Digital Mental Health Interventions参考文献 33被引用数 5

ひとこと要約

本研究では、高リスクの思春児を対象に、スマートフォンのテキストおよびアプリ使用データから日次気分を予測するマルチモーダルでプライバシー保護型の機械学習フレームワークを提案する。テキストとアプリ特徴の共同モデリングに加え、ノイズ注入型表現学習（NI-MLP）を組み合わせることで、ユーザーの個人識別を効果的に隠蔽しながらも、予測精度を大幅に向上させ、性能とプライバシーの境界を従来の単一モodal手法を上回る水準にまで押し上げた。

ABSTRACT

Mental health conditions remain under-diagnosed even in countries with common access to advanced medical care. The ability to accurately and efficiently predict mood from easily collectible data has several important implications towards the early detection and intervention of mental health disorders. One promising data source to help monitor human behavior is from daily smartphone usage. However, care must be taken to summarize behaviors without identifying the user through personal (e.g., personally identifiable information) or protected attributes (e.g., race, gender). In this paper, we study behavioral markers or daily mood using a recent dataset of mobile behaviors from high-risk adolescent populations. Using computational models, we find that multimodal modeling of both text and app usage features is highly predictive of daily mood over each modality alone. Furthermore, we evaluate approaches that reliably obfuscate user identity while remaining predictive of daily mood. By combining multimodal representations with privacy-preserving learning, we are able to push forward the performance-privacy frontier as compared to unimodal approaches.

研究の動機と目的

• 高リスクの思春児における受動的スマートフォンデータから日次気分を予測する機械学習フレームワークの開発。
• 感受性の高いモバイル行動データにおけるユーザー識別の隠蔽により、プライバシー懸念に対処すること。
• 気分モデリングにおける予測性能とプライバシーのトレードオフを評価すること。
• テキストとアプリ特徴のマルチモーダル統合が、単一モダリティ手法に比べて気分予測をどのように向上させるかを検証すること。
• 予測の有効性を維持しながら再識別リスクを低減するプライバシー保護技術（例：NI-MLP）の検討。

提案手法

• 本研究では、6か月間にわたり高リスクの思春児から収集された、細粒度のスマートフォン行動データ（テキストメッセージとアプリ使用ログ）からなるマルチモーダルデータセットを用いる。
• テキスト特徴はバッグオブワーズ表現により抽出され、アプリ使用状況は各アプリごとの頻度および使用時間として符号化される。
• テキストとアプリ特徴は、後期統合（late interaction）を用いて統合され、特定のアプリ内での入力内容の文脈的理解を可能にする。
• 学習済み表現に対してノイズ注入型マルチレイヤーパーセプトロン（NI-MLP）を適用し、ユーザー識別の隠蔽を図る。ノイズパラメータσは調整可能である。
• モデルは日次自己報告気分スコアの予測を目的とし、性能評価にはF1スコアが用いられる。
• プライバシー評価は、モデルの表現に対して別途訓練した識別分類器を用い、再識別精度を測定することで実施される。

実験結果

リサーチクエスチョン

• RQ1 テキストとアプリ使用状況特徴の共同モデリングは、単一モダリティモデルに比べて日次気分予測精度を向上させるか？
• RQ2 ノイズ注入型表現学習（NI-MLP）は、気分予測性能を維持しつつ、プライバシー保護をどの程度効果的に実現できるか？
• RQ3 異なるモデル構成において、気分予測性能とユーザー識別再認識リスクのトレードオフはどのように変化するか？
• RQ4 事前学習済みNLP埋め込み（例：BERT、GloVe）は、単純なバッグオブワーズ特徴に比べて、このモバイル行動データセットにおける気分予測性能を向上させるか？
• RQ5 ユーザーに依存しないモデルは、新しいユーザーへの一般化性を高められるか？また、その場合、性能とプライバシーのトレードオフにどのような影響を与えるか？

主な発見

• テキストとアプリ特徴を統合したマルチモーダルモデルはF1スコア95.70を達成し、単一モダリティモデル（テキスト：92.65、アプリ：91.82）を著しく上回った。
• σ = 0.5のNI-MLPを用いることで、ユーザー識別予測精度は36.65%まで低下し、高いプライバシー保護が実現された一方で、気分予測性能は高い水準を維持した。
• NI-MLPアプローチにより、プライバシーと性能のトレードオフを調整可能にし、マルチモーダル特徴とノイズ注入を組み合わせた際、パレート最適解が有利にシフトした。
• BERT や GloVe などの事前学習言語モデルは、単純なバッグオブワーズ特徴に比べて性能向上をもたらさなかった。これは、日常的なテキストシーケンスが長く断片的であることが主な要因と考えられる。
• キーストロークパターン特徴はモデル性能を向上させなかった。これは、本データセットでは予測価値が限定的であるか、より細粒度の統合手法の必要性を示唆している。
• 個々のユーザーに特化したモデルは、データ量が不足していたため効果が得られず、ユーザーに依存しない、あるいはフェデレーテッドラーニングのアプローチの導入が不可欠であることが示された。