[論文レビュー] Differential Private Federated Transfer Learning for Mental Health Monitoring in Everyday Settings: A Case Study on Stress Detection

Ziyu Wang, Zhongqi Yang+2 more|arXiv (Cornell University)|Feb 16, 2024

Digital Mental Health Interventions被引用数 6

ひとこと要約

本論文は、精神健康モニタリングの差分プライベート・フェデレーテッド転移学習フレームワークを提案し、ストレス検知に適用。公的データでの事前学習と、DP下でのデバイス上フェデレーテッド微調整を統合し、プライバシーと性能を向上させる。

ABSTRACT

Mental health conditions, prevalent across various demographics, necessitate efficient monitoring to mitigate their adverse impacts on life quality. The surge in data-driven methodologies for mental health monitoring has underscored the importance of privacy-preserving techniques in handling sensitive health data. Despite strides in federated learning for mental health monitoring, existing approaches struggle with vulnerabilities to certain cyber-attacks and data insufficiency in real-world applications. In this paper, we introduce a differential private federated transfer learning framework for mental health monitoring to enhance data privacy and enrich data sufficiency. To accomplish this, we integrate federated learning with two pivotal elements: (1) differential privacy, achieved by introducing noise into the updates, and (2) transfer learning, employing a pre-trained universal model to adeptly address issues of data imbalance and insufficiency. We evaluate the framework by a case study on stress detection, employing a dataset of physiological and contextual data from a longitudinal study. Our finding show that the proposed approach can attain a 10% boost in accuracy and a 21% enhancement in recall, while ensuring privacy protection.

研究の動機と目的

• 限られたデータを活用しつつ、精神健康モニタリングにおけるプライバシーの懸念に対処する。
• モデル更新時に参加者データを守るため、差分プライバシーとフェデレーテッドラーニングを組み合わせる。
• 大規模な公開データセットで事前学習し、ユーザーデータで微調整することでデータ不足と不均衡を緩和するために転移学習を用いる。
• 生理データと文脈データを用いたストレス検知のケーススタディでフレームワークを評価する。
• プライバシーと有用性のトレードオフと、プライバシー予算の変動に対する頑健性を示す。

提案手法

• 大規模な公開データセットでバイナリ交差エントロピー損失を用いて普遍モデルを事前学習する。
• 事前学習済みモデルをクライアントに配布し、ユーザー固有データで微調整を行い、勾配クリッピングを適用する。
• クライアント更新時に勾配へラプラスノイズを加え、スケール Delta f / epsilon を用いて差分プライバシーを実現する。
• ノイジーなクライアント更新をFederated Averagingで集約し、グローバルモデルを形成する。
• モデルは、PPGとモーションデータから派生した12のHR/HRV特徴量を用いた3層MLPである。
• プライバシー予算epsilonを変化させてプライバシーと有用性のトレードオフを評価する。

Figure 1: Overview of the proposed framework.

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングと統合した差分プライバシーは、性能を著しく損なうことなく機微な精神健康データを保護できるか？
• RQ2 事前学習済みの普遍的モデルによる転移学習は、データ不足で個別化されたストレス検知タスクの性能を向上させるか？
• RQ3 この設定におけるプライバシー予算（epsilon）がモデルの精度、リコール、ROCに与える影響はどうなるか？
• RQ4 提案フレームワークは、非フェデレーテッドまたは非DPのベースラインとストレス検知でどう比較されるか？

主な発見

モデル	精度	F1スコア	リコール	適合率
Plain	0.43	0.39	0.54	0.31
Pre-trained	0.51	0.44	0.58	0.36
Fine-tuned	0.53	0.52	0.75	0.40

• 統合フレームワークは、ベースラインよりも高い精度とリコールを達成: 微調整モデルで0.53の精度、0.52のF1、0.75のリコール、0.40の適合率。
• Plainモデルの精度0.43、F1 0.39、リコール0.54、適合率0.31；事前学習モデルの精度0.51、F1 0.44、リコール0.58、適合率0.36。
• epsilon = 1 のラプラシアンノイズによる差分プライバシーは、ROCを維持しつつプライバシー保護を可能にする。
• リコールの改善は、ストレスを抱えるケースの検出向上を示し、見逃しを減らす。
• プライバシー-有用性分析は、報告されたシナリオでDP-FLがROCを有意に劣化させないことを示す。

Figure 2: Overview of the proposed approach.