[논문 리뷰] A Federated Learning Framework for Healthcare IoT devices

Binhang Yuan, Ge Song외 1명|arXiv (Cornell University)|2020. 05. 07.

Privacy-Preserving Technologies in Data참고 문헌 14인용 수 50

한 줄 요약

논문은 의료 IoT를 위한 분해된 연합학습 프레임워크를 제시한다. 경계 기기(edge)와 중앙 서버 사이에 신경망을 분할하고 활성화/그래디언트를 희소화하여 통신을 대폭 줄이고, 정확도 손실은 최소화한다.

ABSTRACT

The Internet of Things (IoT) revolution has shown potential to give rise to many medical applications with access to large volumes of healthcare data collected by IoT devices. However, the increasing demand for healthcare data privacy and security makes each IoT device an isolated island of data. Further, the limited computation and communication capacity of wearable healthcare devices restrict the application of vanilla federated learning. To this end, we propose an advanced federated learning framework to train deep neural networks, where the network is partitioned and allocated to IoT devices and a centralized server. Then most of the training computation is handled by the powerful server. The sparsification of activations and gradients significantly reduces the communication overhead. Empirical study have suggested that the proposed framework guarantees a low accuracy loss, while only requiring 0.2% of the synchronization traffic in vanilla federated learning.

연구 동기 및 목표

• 의료 IoT에서 프라이버시와 데이터 소유권을 다루면서 협력적 모델 학습을 가능하게 한다.
• 저자원 IoT 기기의 계산 및 통신 부담을 줄인다.
• 분산 학습 설정에서 높은 모델 정확도를 유지한다.
• 주요 계산을 클라우드로 이동시키는 분할 신경망 접근을 활용한다.

제안 방법

• 깊은 신경망을 얕은 에지 서브네트워크와 깊은 클라우드 서브네트워크로 분해한다.
• 첫 레이어를 IoT 기기에 배치하고 남은 레이어를 중앙 서버에 두는 모델-병렬화 기반 분할(SplitNN 유사) 방식을 채택한다.
• 상위 K 활성화 및 그래디언트만 전송하여 통신을 희소화한다(K ≤ 10%).
• 다양한 기기 수에 대해 FedAvg 및 SplitNN 대비 매 반복 네트워크 트래픽을 비교한다.
• PhysioNet 2017 데이터를 사용한 실제 부정맥 탐지 작업에서 수렴 및 정확도 손실을 평가한다.

실험 결과

연구 질문

• RQ1 제1: 분해된 연합학습 프레임워크가 중앙집중형 SGD 및 다른 FL 방법과 비교하여 수렴 및 정확도 손실 측면에서 어떻게 수행되는가?
• RQ2 제2: 활성화 및 그래디언트 희소화가 의료 IoT FL 설정에서 통신 오버헤드를 얼마나 줄이는가?
• RQ3 제3: 제안된 프레임워크에서 IoT 기기 계산 부담과 글로벌 모델 성능 간의 트레이드오프는 무엇인가?
• RQ4 제4: 에지 기기의 동기화 트래픽을 크게 줄이면서도 정확도를 유지할 수 있는가?

주요 결과

• 중앙집중형 SGD에 비해 16대, 32대, 64대에서 수렴 지연은 미미하며 최종 정확도 손실은 2% 미만이다.
• 제안된 프레임워크는 16대, 32대, 64대에서 각각 FedAvg 대비 네트워크 트래픽을 99.8%, SplitNN 대비 90% 감소시킨다.
• 상위-K 활성화 및 그래디언트를 희소화(K ≤ 10%)가 큰 정확도 페널티 없이 통신을 크게 줄인다.
• 대부분의 계산이 중앙 집중식 서버에서 처리되어 에지 기기 자원 제약을 완화한다.
• 실험적 평가에서 PhysioNet 2017 데이터세트의 최첨단 부정맥 탐지 구성을 사용하여 의료 IoT 환경에서의 실행 가능성을 입증한다.