[논문 리뷰] Differential Private Federated Transfer Learning for Mental Health Monitoring in Everyday Settings: A Case Study on Stress Detection

Ziyu Wang, Zhongqi Yang외 2명|arXiv (Cornell University)|2024. 02. 16.

Digital Mental Health Interventions인용 수 6

한 줄 요약

논문은 차등 프라이버시 연합 전이 학습 프레임워크를 정신 건강 모니터링에 적용하여 스트레스 탐지를 다루고, 공개 데이터에 대한 사전 학습과 DP 하에서의 온-디바이스 미세 조정을 통합해 개인정보 보호와 성능을 향상시킨다.

ABSTRACT

Mental health conditions, prevalent across various demographics, necessitate efficient monitoring to mitigate their adverse impacts on life quality. The surge in data-driven methodologies for mental health monitoring has underscored the importance of privacy-preserving techniques in handling sensitive health data. Despite strides in federated learning for mental health monitoring, existing approaches struggle with vulnerabilities to certain cyber-attacks and data insufficiency in real-world applications. In this paper, we introduce a differential private federated transfer learning framework for mental health monitoring to enhance data privacy and enrich data sufficiency. To accomplish this, we integrate federated learning with two pivotal elements: (1) differential privacy, achieved by introducing noise into the updates, and (2) transfer learning, employing a pre-trained universal model to adeptly address issues of data imbalance and insufficiency. We evaluate the framework by a case study on stress detection, employing a dataset of physiological and contextual data from a longitudinal study. Our finding show that the proposed approach can attain a 10% boost in accuracy and a 21% enhancement in recall, while ensuring privacy protection.

연구 동기 및 목표

• 제한적이고 다양한 데이터를 활용하면서 정신 건강 모니터링에서 개인정보 보호 문제를 해결한다.
• 모델 업데이트 중 참가자 데이터를 보호하기 위해 차등 프라이버시와 연합 학습을 결합한다.
• 데이터 부족과 불균형을 완화하기 위해 대규모 공개 데이터셋에서 사전 학습하고 사용자 데이터로 미세 조정하는 전이 학습을 사용한다.
• 생리학적 및 맥락 데이터를 활용한 스트레스 탐지 사례 연구에서 프레임워크를 평가한다.
• 개인정보 보호 예산 변화에 대한 프라이버시-유용성 트레이드오프 및 강건성을 보여준다.

제안 방법

• 대규모 공개 데이터셋에서 이진 교차 엔트로피 손실을 사용해 보편 모델을 사전 학습한다.
• 사전 학습된 모델을 클라이언트에 분배하고 사용자 특성 데이터로 미세 조정하며 그래디언트 클립핑을 적용한다.
• 클라이언트 업데이트 중 차등 프라이버시를 달성하기 위해 그래디언트에 라플라스 노이즈를 Delta f / epsilon의 스케일로 추가한다.
• 노이즈가 있는 클라이언트 업데이트를 연합 평균(Federated Averaging)으로 모아 글로벌 모델을 형성한다.
• 모델은 PPG와 운동 데이터로부터 유도된 12개의 HR/HRV 특징을 가진 3층 MLP를 사용한다.
• 프라이버시 예산 epsilon를 변화시켜 프라이버시-유용성 트레이드오프를 평가한다.

Figure 1: Overview of the proposed framework.

실험 결과

연구 질문

• RQ1 차등 프라이버시가 연합 학습과 결합되어 성능을 심각하게 저하시키지 않으면서 민감한 정신 건강 데이터를 보호할 수 있는가?
• RQ2 사전 학습된 보편 모델을 통한 전이 학습이 데이터가 적고 개인화된 스트레스 탐지 작업에서 성능을 향상시키는가?
• RQ3 이 설정에서 프라이버시 예산(epsilon)이 모델 정확도, 재현율, ROC에 미치는 영향은 무엇인가?
• RQ4 제안된 프레임워크가 비연합 학습 또는 비-DP 기준선과 스트레스 탐지에서 어떻게 비교되는가?

주요 결과

모델	정확도	F1 점수	재현율	정밀도
일반	0.43	0.39	0.54	0.31
사전 학습된	0.51	0.44	0.58	0.36
미세 조정된	0.53	0.52	0.75	0.40

• 통합 프레임워크는 기준선보다 더 높은 정확도와 재현율을 달성합니다: 미세 조정된 모델의 경우 정확도 0.53, F1 0.52, 재현율 0.75, 정밀도 0.40.
• 일반 모델 정확도 0.43, F1 0.39, 재현율 0.54, 정밀도 0.31; 사전 학습된 모델 정확도 0.51, F1 0.44, 재현율 0.58, 정밀도 0.36.
• epsilon = 1인 라플라시안 노이즈를 통한 차등 프라이버시는 ROC를 유지하면서 프라이버시 보호를 가능하게 한다.
• 재현율 개선은 스트레스 상태의 사례를 더 잘 탐지하고 누락을 줄임을 시사한다.
• 개인정보 보호-유용성 분석은 DP-FL이 보고된 시나리오에서 ROC를 크게 악화시키지 않는다는 것을 보여준다.

Figure 2: Overview of the proposed approach.