[논문 리뷰] LoAdaBoost: loss-based AdaBoost federated machine learning with reduced computational complexity on IID and non-IID intensive care data

Huang Li, Yifeng Yin외 4명|arXiv (Cornell University)|2018. 11. 30.

Privacy-Preserving Technologies in Data참고 문헌 22인용 수 14

한 줄 요약

이 논문은 계산 복잡도를 감소시키고 IID 및 비-IID 강력한 집중 치료실(ICU) 데이터에서 예측 정확도를 향상시키는 손실 기반 적응형 부스팅 연합 학습 방법인 LoAdaBoost를 제안한다. 이전 라운드의 중앙값 손실 대비 교차 엔트로피 손실에 따라 클라이언트별 학습 에포크를 동적으로 조정함으로써 LoAdaBoost는 FedAvg보다 평균 30% 적은 에포크로 더 높은 AUC(최대 0.6548)를 달성하며, 비-IID 상황에서 尤도 높은 성능을 발휘한다.

ABSTRACT

Intensive care data are valuable for improvement of health care, policy making and many other purposes. Vast amount of such data are stored in different locations, on many different devices and in different data silos. Sharing data among different sources is a big challenge due to regulatory, operational and security reasons. One potential solution is federated machine learning, which is a method that sends machine learning algorithms simultaneously to all data sources, trains models in each source and aggregates the learned models. This strategy allows utilization of valuable data without moving them. One challenge in applying federated machine learning is the possibly different distributions of data from diverse sources. To tackle this problem, we proposed an adaptive boosting method named LoAdaBoost that increases the efficiency of federated machine learning. Using intensive care unit data from hospitals, we investigated the performance of learning in IID and non-IID data distribution scenarios, and showed that the proposed LoAdaBoost method achieved higher predictive accuracy with lower computational complexity than the baseline method.

연구 동기 및 목표

• 연합 학습을 위한 집중 치료실(ICU) 데이터에서 비-IID 및 계산 비용이 높은 데이터 분포의 과제를 해결하기 위해.
• 분산되고 개인정보가 민감한 의료 데이터에서 성능을 유지하거나 향상시키면서도 연합 학습의 계산 복잡도를 감소시키기 위해.
• 개별 모델 성능에 기반해 클라이언트별 학습 에포크를 적응적으로 조정하는 방법을 개발하여 수렴성과 정확도를 향상시키기 위해.
• 데이터 공유 전략이 포함된 IID 및 비-IID ICU 데이터셋에서의 평가를 수행하기 위해.

제안 방법

• LoAdaBoost는 각 글로벌 라운드에서 교차 엔트로피 손실을 성능 지표로 사용하여 클라이언트 모델의 품질을 평가한다.
• 이전 라운드의 모든 클라이언트에서의 손실 중 중앙값을 계산하여 모델 적합도의 기준을 설정한다.
• 클라이언트는 자신의 손실이 중앙값 손실 대비 낮은지, 적절한지, 또는 높은지에 따라 과적합, 적합, 과도적합으로 분류된다.
• 학습 에포크는 동적으로 조정된다: 과적합된 클라이언트에는 추가 학습이 이루어지지 않으며, 적합한 클라이언트에는 적은 에포크, 과소적합된 클라이언트에는 더 많은 에포크가 할당된다.
• 이 방법은 FedAvg의 글로벌 모델 평균화와 통합되어 통신 효율성을 유지하면서도 지역 모델의 품질을 향상시킨다.
• 이 방법은 MIMIC-III 및 eICU 데이터셋에 적용되었으며, IID, 비-IID 및 데이터 공유 조건 하에서 평가되었다.

실험 결과

연구 질문

• RQ1 손실 기반 적응형 부스팅 메커니즘이 비-IID ICU 데이터에서 계산 비용을 줄이며 연합 학습 성능을 향상시킬 수 있는가?
• RQ2 IID 및 비-IID 데이터 분포에서 LoAdaBoost는 수렴 속도, 예측 정확도(AUC), 평균 학습 에포크 수 측면에서 FedAvg와 비교해 어떻게 다른가?
• RQ3 클라이언트의 손실이 중앙값 손실 대비 상대적으로 높거나 낮은 것을 기반으로 한 동적 에포크 할당이 연합 학습에서 모델 일반화를 향상시키는가?
• RQ4 어떤 데이터 분포 조건(IID 대비 비-IID)에서 LoAdaBoost가 FedAvg를 능가하며, 데이터 공유 전략은 여전히 필요한가?

주요 결과

• 비-IID eICU 데이터에서 LoAdaBoost는 AUC 0.6548 ± 0.0048을 달성하여 FedAvg의 0.6512 ± 0.0043을 초월했으며, 평균 에포크 수는 271대 300으로 30% 감소했다.
• IID eICU 데이터에서 LoAdaBoost는 AUC 0.6057 ± 0.0077를 기록하여 FedAvg의 0.5693 ± 0.0057보다 유의미하게 높았으며, 평균 에포크 수는 262대 400이었다.
• 데이터 공유 조건에서 LoAdaBoost는 평균 에포크 수가 272대 350이었음에도 불구하고 AUC 0.6412 ± 0.0065를 기록하여 FedAvg의 0.6253 ± 0.0088를 상회했다.
• LoAdaBoost는 모든 데이터 분포 상황에서 더 빠른 수렴과 더 높은 AUC를 달성하여 데이터 왜곡에 대한 강건성과 계산 부담 감소를 입증했다.
• FedAvg 대비 평균 학습 에포크 수를 최대 30% 감소시켰으며, 특히 FedAvg가 수렴하기 위해 400 에포크가 필요한 IID 상황에서 유의미한 이점을 제공했다.
• 비-IID 환경에서 LoAdaBoost는 데이터 공유 전략 없이도 FedAvg와 유사하거나 뛰어난 성능을 보였으며, 이는 적응형 부스팅 메커니즘이 데이터 왜곡 영향을 완화시킨다는 것을 시사한다.