[논문 리뷰] Multimodal Privacy-preserving Mood Prediction from Mobile Data: A Preliminary Study

Terrance Liu, Paul Pu Liang외 6명|arXiv (Cornell University)|2020. 12. 04.

Digital Mental Health Interventions참고 문헌 33인용 수 5

한 줄 요약

이 연구는 고위험 청소년의 스마트폰 텍스트 및 앱 사용 데이터로부터 일일 기분을 예측하는 다중모달, 개인정보 보호 기반 기계학습 프레임워크를 제안한다. 텍스트 및 앱 기능의 공동 모델링과 노이즈 주입 표현 학습(NI-MLP)을 결합한 접근 방식은 사용자 신원을 효과적으로 은폐하면서도 뛰어난 기분 예측 정확도를 달성하여, 단모달 방법을 뛰어넘는 성능-개인정보 보호 경계를 확장한다.

ABSTRACT

Mental health conditions remain under-diagnosed even in countries with common access to advanced medical care. The ability to accurately and efficiently predict mood from easily collectible data has several important implications towards the early detection and intervention of mental health disorders. One promising data source to help monitor human behavior is from daily smartphone usage. However, care must be taken to summarize behaviors without identifying the user through personal (e.g., personally identifiable information) or protected attributes (e.g., race, gender). In this paper, we study behavioral markers or daily mood using a recent dataset of mobile behaviors from high-risk adolescent populations. Using computational models, we find that multimodal modeling of both text and app usage features is highly predictive of daily mood over each modality alone. Furthermore, we evaluate approaches that reliably obfuscate user identity while remaining predictive of daily mood. By combining multimodal representations with privacy-preserving learning, we are able to push forward the performance-privacy frontier as compared to unimodal approaches.

연구 동기 및 목표

• 고위험 청소년의 수동적 스마트폰 데이터로부터 일일 기분을 예측하는 기계학습 프레임워크를 개발하기 위해.
• 감성적 모바일 행동 데이터에서 사용자 신원을 은폐하여 개인정보 우려를 해결하기 위해.
• 기분 모델링에서 예측 성능와 개인정보 간의 상호 교환 관계를 평가하기 위해.
• 텍스트 및 앱 기능의 다중모달 융합이 단모달 접근 방식보다 기분 예측 성능을 향상시키는지 조사하기 위해.
• 예측 유용성을 유지하면서 재식별 위험을 줄이는 개인정보 보존 기법(예: NI-MLP)을 탐색하기 위해.

제안 방법

• 연구는 고위험 청소년들로부터 6개월간 수집한 세밀한 스마트폰 행동 데이터를 포함한 다중모달 데이터셋을 사용한다.
• 텍스트 기능은 단어 뭉치(boW) 표현을 통해 추출되며, 앱 사용은 각 응용프로그램별 빈도 및 지속시간 기능으로 인코딩된다.
• 텍스트 및 앱 기능은 후기 상호작용(fusion)을 통해 융합되며, 특정 앱 환경 내에서 입력된 콘텐츠의 맥락적 이해를 가능하게 한다.
• 학습된 표현에 노이즈 주입 다층퍼셉트론(NI-MLP)을 적용하여 사용자 신원을 은폐하며, 조정 가능한 노이즈 파라미터 σ를 사용한다.
• 모델은 일일 자가 보고 기분 점수를 예측하도록 훈련되며, 성능 평가에는 F1 점수를 사용한다.
• 개인정보 보호는 모델의 표현에 대해 별도의 신원 분류기 모델을 훈련하여 재식별 정확도를 측정함으로써 평가된다.

실험 결과

연구 질문

• RQ1 텍스트 및 앱 사용 기능의 공동 모델링이 단모달 모델 대비 일일 기분 예측 정확도를 향상시키는가?
• RQ2 노이즈 주입 표현 학습(NI-MLP)이 기분 예측 성능를 유지하면서도 개인정보 보호에 얼마나 효과적인가?
• RQ3 다양한 모델 구성에서 기분 예측 성능와 사용자 신원 재식별 위험 간의 상호 교환 관계는 어떠한가?
• RQ4 사전학습된 NLP 임베딩(BERT, GloVe 등)이 이 모바일 행동 데이터셋에서 단순 단어 뭉치 기능보다 기분 예측 성능을 향상시키는가?
• RQ5 사용자 독립적 모델은 새로운 사용자에게 더 잘 일반화되는가, 그리고 이는 성능-개인정보 보호 상호작용에 어떤 영향을 미치는가?

주요 결과

• 텍스트 및 앱 기능을 융합한 다중모달 모델은 F1 점수 95.70을 기록하여 단모달 모델들(텍스트: 92.65, 앱: 91.82)을 뛰어넘는 성능을 보였다.
• σ = 0.5로 설정한 NI-MLP를 사용할 경우 신원 예측 정확도가 36.65%로 감소하여 강력한 개인정보 보호 효과를 입증하였으며, 同시에 높은 기분 예측 성능도 유지되었다.
• NI-MLP 접근 방식은 조정 가능한 개인정보-성능 상호교환 관계를 가능하게 하였으며, 다중모달 기능과 노이즈 주입을 융합할 경우 파레토 최적 해가 유리하게 이동함을 확인하였다.
• BERT 및 GloVe와 같은 사전학습된 언어 모델은 단순 단어 뭉치 기능보다 성능 향상에 기여하지 않았다. 이는 매일의 텍스트 시퀀스가 길고 분할되어 있어 이에 적합하지 않기 때문일 것이다.
• 타이핑 패턴 특징은 모델 성능 향상에 기여하지 않았으며, 이는 이 데이터셋에서 예측 가치가 낮거나 더 세밀한 융합 기법이 필요함을 시사한다.
• 개인별 모델은 개별 사용자당 데이터가 부족하여 효과적이지 않았으며, 이는 사용자 독립적 또는 피어드 학습 기반 접근 방식의 필요성을 강조한다.