[논문 리뷰] LoAdaBoost:Loss-Based AdaBoost Federated Machine Learning on medical Data

Huang Li, Yifeng Yin외 4명|arXiv (Cornell University)|2018. 11. 30.

Privacy-Preserving Technologies in Data참고 문헌 21인용 수 64

한 줄 요약

LoAdaBoost는 의료 데이터에서 비독립 동일 분포(Non-IID) 조건 하에서 훈련 손실에 기반해 약한 학습기의 가중치를 동적으로 조정함으로써 모델 정확도를 향상시키기 위한 손실 기반 적응형 부스팅 프레임워크이다. 다수의 병원에서 수집한 ICU 데이터에서 기준 방법보다 높은 예측 정확도와 낮은 계산 복잡도를 달성한다.

ABSTRACT

Intensive care data are valuable for improvement of health care, policy making and many other purposes. Vast amount of such data are stored in different locations, on many different devices and in different data silos. Sharing data among different sources is a big challenge due to regulatory, operational and security reasons. One potential solution is federated machine learning, which is a method that sends machine learning algorithms simultaneously to all data sources, trains models in each source and aggregates the learned models. This strategy allows utilization of valuable data without moving them. One challenge in applying federated machine learning is the possibly different distributions of data from diverse sources. To tackle this problem, we proposed an adaptive boosting method named LoAdaBoost that increases the efficiency of federated machine learning. Using intensive care unit data from hospitals, we investigated the performance of learning in IID and non-IID data distribution scenarios, and showed that the proposed LoAdaBoost method achieved higher predictive accuracy with lower computational complexity than the baseline method.

연구 동기 및 목표

• 의료 적용 분야의 연합 기계 학습에서 비독립 동일 분포(Non-IID) 데이터 분포 문제를 해결한다.
• 민감한 환자 데이터를 중앙 집중화하지 않고도 연합 학습에서 예측 정확도를 향상시킨다.
• 기본 표준 AdaBoost 대비 연합 환경에서의 계산 복잡도를 낮춘다.
• ICU 시스템과 같은 분산된 이질적인 의료 데이터 소스 간의 효과적인 모델 훈련을 가능하게 한다.

제안 방법

• 연합 학습 환경에 최적화된 손실 기반 적응형 부스팅 방법인 LoAdaBoost를 제안한다.
• 각 부스팅 라운드에서 샘플 단위의 훈련 손실을 사용해 약한 학습기의 가중치를 동적으로 조정한다.
• 데이터 프라이버시를 보장하기 위해 연합 훈련을 통해 로컬 클라이언트 간 모델 집합을 수행한다.
• 적응형 부스팅 원칙과 연합 평균화를 통합하여 수렴성과 정확도를 향상시킨다.
• 부스팅 과정에서 손실이 높은 샘플을 우선적으로 처리함으로써 어려운 인스턴스에 대한 전반적인 모델 성능을 향상시킨다.
• 손실 민감도 업데이트에 집중함으로써 통신 및 계산 오버헤드를 낮춘다.

실험 결과

연구 질문

• RQ1 LoAdaBoost는 표준 AdaBoost 대비 비독립 동일 분포(Non-IID) 데이터 분포 조건 하에서 연합 학습에서 어떻게 성능을 발휘하는가?
• RQ2 손실 기반 가중치 조정이 분산된 의료 데이터 환경에서 모델 정확도를 향상시킬 수 있는가?
• RQ3 LoAdaBoost는 기준 연합 학습 방법 대비 계산 효율성이 어떻게 되는가?
• RQ4 LoAdaBoost는 다수 병원의 ICU 데이터 세트 간의 데이터 이질성 문제를 어떻게 다루는가?
• RQ5 LoAdaBoost의 적응형 부스팅 메커니즘은 더 빠른 수렴성과 더 나은 일반화 성능을 이끌어내는가?

주요 결과

• LoAdaBoost는 IID 및 Non-IID 데이터 분포 상황 모두에서 기준 방법보다 높은 예측 정확도를 달성했다.
• 기준 방법 대비 낮은 계산 복잡도를 보이며 자원 제약 환경에서 더 효율적인 성능을 발휘했다.
• 특히 데이터 분포가 병원 간에 이질적인 비독립 동일 분포(Non-IID) 조건에서 성능 향상이 두드러졌다.
• 손실 기반 가중치 조정 메커니즘이 어려운 분류 대상 샘플에 집중함으로써 전반적인 모델의 강건성 향상에 효과적이었다.
• 데이터 공유 없이도 분산된 병원 간 모델 집합을 통해 높은 성능을 유지하여 프라이버시를 보존했다.
• 실제 다수 병원의 ICU 데이터에서의 성능 검증을 통해 의료 연합 학습 분야에서의 실용적 유용성을 입증했다.