[논문 리뷰] BrainTorrent: A Peer-to-Peer Environment for Decentralized Federated Learning

Abhijit Guha Roy, Shayan Siddiqui외 3명|arXiv (Cornell University)|2019. 05. 16.

Privacy-Preserving Technologies in Data참고 문헌 8인용 수 207

한 줄 요약

BrainTorrent는 중앙 서버 없이 완전히 분산된 피어-투-피어 연합학습 프레임워크를 의료 영상에 적용하여 중앙 서버 없이도 경쟁력 있는 전뇌 분할을 달성하고 다양한 데이터 분포 하에서 서버 기반 FL보다 우수합니다.

ABSTRACT

Access to sufficient annotated data is a common challenge in training deep neural networks on medical images. As annotating data is expensive and time-consuming, it is difficult for an individual medical center to reach large enough sample sizes to build their own, personalized models. As an alternative, data from all centers could be pooled to train a centralized model that everyone can use. However, such a strategy is often infeasible due to the privacy-sensitive nature of medical data. Recently, federated learning (FL) has been introduced to collaboratively learn a shared prediction model across centers without the need for sharing data. In FL, clients are locally training models on site-specific datasets for a few epochs and then sharing their model weights with a central server, which orchestrates the overall training process. Importantly, the sharing of models does not compromise patient privacy. A disadvantage of FL is the dependence on a central server, which requires all clients to agree on one trusted central body, and whose failure would disrupt the training process of all clients. In this paper, we introduce BrainTorrent, a new FL framework without a central server, particularly targeted towards medical applications. BrainTorrent presents a highly dynamic peer-to-peer environment, where all centers directly interact with each other without depending on a central body. We demonstrate the overall effectiveness of FL for the challenging task of whole brain segmentation and observe that the proposed server-less BrainTorrent approach does not only outperform the traditional server-based one but reaches a similar performance to a model trained on pooled data.

연구 동기 및 목표

• 의료 영상에 대한 연합학습의 데이터 프라이버시 및 중앙 서버 의존성 문제를 해결한다.
• 중앙 서버 없이 다양한 데이터 분포를 가진 의료기관에 적합한 피어-투-피어 FL 프레임워크를 개발한다.
• BrainTorrent가 데이터를 공유하지 않으면서 풀링된 데이터에 비해 분할 성능에 근접할 수 있음을 입증한다.

제안 방법

• BrainTorrent를 서버-리스 피어-투-피어 FL 환경으로 도입한다.
• 각 클라이언트는 모델 업데이트를 추적하는 버전 벡터를 유지한다.
• 무작위 클라이언트가 라운드를 시작하고 업데이트된 동료가 가중치와 데이터 크기를 전송해 합병 모델을 형성한다.
• 합병 모델은 로컬 데이터에서 미세조정되어 중앙 서버 없이도 빠른 수렴이 가능하다.
• BrainTorrent를 전통적인 서버 기반 FL(FLS) 및 전뇌 MRI 분할에서 풀링된 데이터 학습과 비교한다.

실험 결과

연구 질문

• RQ1 다중 센터에 걸쳐 풀링된 데이터에 비해 분할 성능을 달성할 수 있는 분산형, 서버-리스 FL 프레임워크가 가능한가?
• RQ2 BrainTorrent가 센터 간의 비균질화된 데이터 분포와 연령 계층화 분포에 대해 견고한가?
• RQ3 클라이언트 수 증가 및 클라이언트당 데이터 감소에 따라 BrainTorrent의 확장성은 어떤가?
• RQ4 BrainTorrent가 매우 작은 데이터 세트를 가진 센터의 성능 보존 측면에서 서버 기반 FL보다 더 효과적인가?

주요 결과

• BrainTorrent는 클라이언트별 평균 Dice 점수 및 집계 모델에서 테스트 구성 전반에 걸쳐 서버 기반 FL보다 우수한 성능을 보인다.
• 클라이언트 수가 증가하고(클라이언트당 데이터가 감소함에 따라) BrainTorrent는 FLS보다 더 나은 성능을 유지하고 풀링된 데이터 성능에 근접한다.
• 비균질 데이터 분포 시나리오에서 BrainTorrent의 집계 및 개별 클라이언트 성능은 풀링된 모델과 일치하거나 근접하는 반면 FLS는 저하된다.
• 클라이언트별 분석은 BrainTorrent가 대부분의 센터에서 더 강력한 개인화 모델을 제공하며 10-클라이언트 설정에서 FLS보다 평균 Dice 이득이 약 2%포인트임을 보여준다.
• BrainTorrent는 원시 데이터를 공유하지 않더라도 풀링된 데이터에 대해 훈련된 모델과 유사한 분할 정확도를 달성한다.