[논문 리뷰] FedHealth: A Federated Transfer Learning Framework for Wearable Healthcare

Yiqiang Chen, Jindong Wang외 3명|arXiv (Cornell University)|2019. 07. 22.

Privacy-Preserving Technologies in Data참고 문헌 40인용 수 45

한 줄 요약

FedHealth는 연합 학습과 전이 학습을 결합하여 원시 데이터를 공유하지 않고 개인화된 웨어러블 헬스케어 모델을 학습하며, 스마트폰 기반 활동 인식에서 비 연합 기반 대비 약 5.3%의 정확도 향상을 달성한다.

ABSTRACT

With the rapid development of computing technology, wearable devices such as smart phones and wristbands make it easy to get access to people's health information including activities, sleep, sports, etc. Smart healthcare achieves great success by training machine learning models on a large quantity of user data. However, there are two critical challenges. Firstly, user data often exists in the form of isolated islands, making it difficult to perform aggregation without compromising privacy security. Secondly, the models trained on the cloud fail on personalization. In this paper, we propose FedHealth, the first federated transfer learning framework for wearable healthcare to tackle these challenges. FedHealth performs data aggregation through federated learning, and then builds personalized models by transfer learning. It is able to achieve accurate and personalized healthcare without compromising privacy and security. Experiments demonstrate that FedHealth produces higher accuracy (5.3% improvement) for wearable activity recognition when compared to traditional methods. FedHealth is general and extensible and has the potential to be used in many healthcare applications.

연구 동기 및 목표

• 조직 간 프라이버시 보장 학습을 가능하게 하여 웨어러블 헬스케어의 데이터 섬 현상을 해결한다.
• 전이 학습을 통해 개별 사용자에 대한 개인화된 모델 학습을 제공한다.
• 데이터 프라이버시를 보존하면서 지식을 집계하기 위해 연합 학습을 활용한다.
• 스마트폰 활동 인식에서의 효과를 입증하고 다른 헬스케어 태스크로의 확장성을 보여준다.

제안 방법

• 표준 딥 러닝 목표를 사용하여 공개 데이터/서버 데이터를 이용해 클라우드(서버) 모델 f_S를 학습한다.
• 동형암호화를 통해 서버 모델 f_S를 사용자에게 분배하고 사용자는 자신의 데이터로 로컬 모델 f_u를 학습한다.
• 원시 데이터를 노출하지 않으면서 암호화된 사용자 모델을 집계해 서버 모델 f_S'를 업데이트한다.
• 하위 계층을 고정하고 상위 계층을 적응시켜 각 사용자의 모델을 개인화하기 위한 전이 학습을 수행하며, 도메인 차이를 줄이기 위한 정렬(CORAL) 손실을 사용한다.
• 개인화 중 소스(서버)와 타깃(사용자) 가중치 간의 2차 통계를 맞추기 위해 CORAL 손실을 사용한다.
• 새로운 사용자 데이터가 도착할 때마다 점진적으로 개인화를 개선하기 위한 반복적이고 연속적인 업데이트를 개요화한다.

Figure 1: The data islanding and personalization problems in wearable healthcare

실험 결과

연구 질문

• RQ1 웨어러블 헬스케어에서 프라이버시를 유지하면서 데이터 섬 현상을 해결하기 위해 연합 학습을 전이 학습과 어떻게 결합할 수 있는가?
• RQ2 원시 데이터를 공유하지 않으면서도 개인 사용자에게 개인화된 모델을 제공하기 위해 클라우드 모델을 활용하고 다듬을 수 있는가?
• RQ3 전통적 방법과 비교하여 스마트폰 기반 활동 인식에 연합 전이 학습을 적용했을 때 인식 정확도에 미치는 영향은 무엇인가?

주요 결과

주제	KNN	SVM	RF	NoFed	FedHealth
P1	83.8	81.9	87.5	94.5	98.8
P2	86.5	96.9	93.3	94.5	98.8
P3	92.2	97.2	88.9	93.4	100.0
P4	83.1	95.9	91.0	95.5	99.4
P5	90.5	98.6	91.6	92.6	100.0

• FedHealth는 스마트폰 활동 인식 실험에서 모든 피험자에 걸쳐 가장 높은 정확도를 보인다.
• NoFed 설정(서버 모델만)과 비교했을 때 FedHealth는 평균 정확도를 약 5.3% 포인트 향상시킨다.
• FedHealth는 모든 피험자에 대해 전통적 방법(KNN, SVM, RF)보다 성능이 우수하다.
• FedHealth 내의 전이 학습은 비전이 기준보다 평균 약 4% 포인트의 성능 향상을 가져온다.
• 이 프레임워크는 대체 전이 학습 전략(파인 튜닝, MMD)로의 확장을 지원하며 여전히 효과적이다.
• 암호화된 매개변수 공유를 통한 연합 학습은 지식 집계가 가능하면서도 프라이버시를 유지한다.

Figure 2: Overview of the FedHealth framework. “User” represents organizations