[논문 리뷰] FedHealth 2: Weighted Federated Transfer Learning via Batch Normalization for Personalized Healthcare

Yiqiang Chen, Lu Wang외 2명|arXiv (Cornell University)|2021. 06. 02.

Privacy-Preserving Technologies in Data참고 문헌 16인용 수 5

한 줄 요약

FedHealth 2는 비정상적인 데이터 분포와 도메인 이동 조건 하에서 개인화된 헬스케어 모델의 정확도를 향상시키기 위해 로컬 배치 정규화를 유지하고, 사전 훈련된 모델을 통한 클라이언트 유사도 추정을 활용하는 가중치 기반 분산 전이 학습 프레임워크를 제안한다. 이는 데이터 프라이버시를 유지하면서도 FedAvg 대비 최대 10% 높은 정확도를 달성하고, 20라운드 이내에 수렴하여 FedBN과 FedPer보다 뚜렷이 뛰어난 성능을 보인다.

ABSTRACT

The success of machine learning applications often needs a large quantity of data. Recently, federated learning (FL) is attracting increasing attention due to the demand for data privacy and security, especially in the medical field. However, the performance of existing FL approaches often deteriorates when there exist domain shifts among clients, and few previous works focus on personalization in healthcare. In this article, we propose FedHealth 2, an extension of FedHealth \cite{chen2020fedhealth} to tackle domain shifts and get personalized models for local clients. FedHealth 2 obtains the client similarities via a pretrained model, and then it averages all weighted models with preserving local batch normalization. Wearable activity recognition and COVID-19 auxiliary diagnosis experiments have evaluated that FedHealth 2 can achieve better accuracy (10%+ improvement for activity recognition) and personalized healthcare without compromising privacy and security.

연구 동기 및 목표

• 의료 응용 분야에서 도메인 이동과 비.i.i.d. 데이터로 인한 성능 저하 문제를 해결하기 위해.
• 원시 데이터를 공유하지 않으면서도 개인화된 모델 학습을 가능하게 하여 프라이버시와 보안을 유지하기 위해.
• 클라이언트 유사도 가중치 통합과 로컬 배치 정규화 유지 기반으로 수렴 속도 향상과 정확도 향상을 도모하기 위해.
• 최소한의 데이터 공유로 실제 의료 환경에서의 레이블 이동과 특징 이동을 처리할 수 있도록 FedHealth를 확장하기 위해.
• 웨어러블 활동 인식 및 질병 진단과 같은 다양한 의료 작업에 적용 가능한 강력하고 확장 가능한 프레임워크를 개발하기 위해.

제안 방법

• 사전 훈련된 모델의 출력에서 유도된 통계적 특징을 사용하여 클라이언트 간의 분포 거리 측정을 통해 클라이언트 유사도를 추정한다.
• 클라이언트 유사도 점수를 기반으로 가중치 기반 평균화 전략을 적용하여 글로벌 모델 업데이트를 통합하며, 유사도가 높은 클라이언트를 우선적으로 고려한다.
• 훈련 과정에서 로컬 배치 정규화 통계를 유지하여 클라이언트 간 특징 분포 이동을 완화한다.
• 모델 파라미터를 교환하고 암호화하여 통신 중 데이터 泄露를 방지하고 프라이버시를 확보한다.
• 사전 훈련된 모델이 없을 경우 FedBN을 활용해 유사도 추정을 수행할 수 있도록 확장 기능을 제공하여 저자원 환경에서도 구현 가능하도록 한다.
• 각 클라이언트에서 로컬으로 모멘타임 기반 최적화 업데이트를 적용하여 모델 개인화와 안정성을 유지한다.

실험 결과

연구 질문

• RQ1 어떻게 분산 학습을 개선하여 개인화된 의료 응용 분야에서 도메인 이동과 비.i.i.d. 데이터를 효과적으로 처리할 수 있는가?
• RQ2 특징 분포 이동 조건 하에서 로컬 배치 정규화를 유지하는 것이 모델 성능에 어떤 영향을 미치는가?
• RQ3 사전 훈련된 모델을 통한 클라이언트 유사도 추정이 분산 의료 시스템에서 더 나은 모델 통합과 더 빠른 수렴을 이끌 수 있는가?
• RQ4 클라이언트 유사도 기반 가중치 평균화는 정규화 또는 비가중치 평균화 대비 정확도와 강건성 측면에서 어떻게 비교되는가?
• RQ5 로컬 에포크 수, 클라이언트 수, 가중치 인자 λ와 같은 하이퍼파라미터가 수렴과 성능에 미치는 영향은 어떠한가?

주요 결과

• 웨어러블 활동 인식 작업에서 FedHealth 2는 FedAvg 대비 최대 10% 이상의 정확도 향상을 달성하여 비.i.i.d. 데이터에서 뚜렷한 성능 향상을 입증하였다.
• PAMAP2 데이터셋에서 FedHealth 2는 평균 정확도 94.82%를 기록하여 개인화 학습에서 FedPer(88.51%)와 FedBN(86.48%)를 압도적으로 앞섰다.
• 코로나19 보조 진단 작업에서는 FedHealth 2가 평균 정확도 94.97%를 달성하여 적은 클래스 수와 제한된 데이터 조건에서도 뛰어난 성능을 보였다.
• FedHealth 2는 20라운드 이내에 수렴하는 반면, FedBN은 400라운드 이상 소요되어 수렴 속도 향상 측면에서 뚜렷한 개선을 보였다.
• 단절 실험 결과, 클라이언트 유사도 기반 가중치와 로컬 배치 정규화 유지 모두 성능 향상에 기여하며, 특히 가중치 기반 전략이 더 두드러진 영향을 미친다.
• 파rameter 민감도 분석 결과, FedHealth 2는 로컬 에포크 수, 클라이언트 수, λ의 변화에 대해 강건하며, 정확도에 미치는 영향은 미미하고 수렴 속도에 대해서는 중간 정도의 영향을 미친다.