[논문 리뷰] Fair Federated Medical Image Segmentation via Client Contribution Estimation

Meirui Jiang, Holger R. Roth외 7명|arXiv (Cornell University)|2023. 03. 29.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 기울기 공간과 데이터 공간에서의 클라이언트 기여도를 추정함으로써 협업의 공정성과 성능의 공정성을 동시에 최적화하는 새로운 피어드 학습 방법 FedCE를 제안한다. 보조 모델을 통해 기울기 방향 차이와 예측 오차를 조합함으로써, FedCE는 이러한 추정치를 적응형 집계 가중치로 사용하여 실제 의료 데이터셋에서 뛰어난 성능과 강건성을 달성하며, 공정성 향상과 무료 라이더 탐지 기능을 제공한다.

ABSTRACT

How to ensure fairness is an important topic in federated learning (FL). Recent studies have investigated how to reward clients based on their contribution (collaboration fairness), and how to achieve uniformity of performance across clients (performance fairness). Despite achieving progress on either one, we argue that it is critical to consider them together, in order to engage and motivate more diverse clients joining FL to derive a high-quality global model. In this work, we propose a novel method to optimize both types of fairness simultaneously. Specifically, we propose to estimate client contribution in gradient and data space. In gradient space, we monitor the gradient direction differences of each client with respect to others. And in data space, we measure the prediction error on client data using an auxiliary model. Based on this contribution estimation, we propose a FL method, federated training via contribution estimation (FedCE), i.e., using estimation as global model aggregation weights. We have theoretically analyzed our method and empirically evaluated it on two real-world medical datasets. The effectiveness of our approach has been validated with significant performance improvements, better collaboration fairness, better performance fairness, and comprehensive analytical studies.

연구 동기 및 목표

• 피어드 의료 영상 분할에서 협업의 공정성과 성능의 공정성이라는 이중 과제를 해결하기 위해.
• 데이터 양과 분포 이탈에 의해 편향되지 않는 강건한 클라이언트 기여도 추정 방법을 개발하기 위해.
• 기여도 추정치를 활용하여 적응형 글로벌 모델 집계를 수행하는 피어드 학습 알고리즘(FedCE)을 설계하기 위해.
• 실제 의료 영상 데이터셋을 기반으로 체계적인 공정성 및 강건성 분석을 수행하여 방법의 실증적 검증을 수행하기 위해.
• 기여도 추정 지표를 활용해 학습 초기 단계에서 무료 라이더 클라이언트를 조기에 탐지하기 위해.

제안 방법

• 로컬 모델 업데이트와 글로벌 모델 업데이트 간의 방향 차이를 측정하여 기울기 공간에서 클라이언트 기여도를 추정한다.
• 클라이언트 데이터에서의 예측 오차를 이용해 클라이언트 배제 보조 모델을 통해 데이터 공간에서의 기여도를 정량화한다.
• 기울기 공간 및 데이터 공간 지표를 곱셈 또는 덧셈 전략을 통해 조합하여 통합 기여도 점수를 형성한다.
• 추정된 클라이언트 기여도를 적응형 가중치로 사용하여 글로벌 모델 집계를 개선함으로써 수렴성과 공정성을 향상시킨다.
• 이론적 분석을 통해 분포 이탈 하에서 수렴 보장과 강건성 한계를 확립한다.
• 추가적인 계산 오버헤드 없이 학습 과정에서 자연스럽게 생성되는 기울기와 모델 출력을 활용한다.

실험 결과

연구 질문

• RQ1 기울기 공간과 데이터 공간을 통합한 클라이언트 기여도 추정이 피어드 의료 영상 분할에서 협업 공정성과 성능 공정성을 모두 향상시킬 수 있는가?
• RQ2 제안된 기여도 추정 지표는 데이터 분포 이탈과 클라이언트 이질성에 대해 얼마나 강건한가?
• RQ3 이 방법은 학습 초기 단계에서 무료 라이더 클라이언트를 조기에 탐지할 수 있는가?
• RQ4 기여도 기반 집계 가중치 사용이 기존의 표준 FL 방법보다 더 나은 분할 성능을 제공하는가?
• RQ5 개별 구성 요소(기울기 공간 및 데이터 공간 지표)가 전체 성능에 기여하는 정도는 어떠한가?

주요 결과

• FedCE는 두 개의 실제 의료 영상 분할 데이터셋에서 상태의 기술보다 분할 정확도 및 공정성 지표 측면에서 뚜렷한 승리를 거두었다.
• 기여도 추정 지표는 데이터 분포 이탈에 대해 매우 강건하며, 한 클라이언트를 제외했을 때 값의 변화가 1% 미만으로 나타났다.
• 무료 라이더 클라이언트는 학습 10라운드 이내에 높은 신뢰도로 탐지되었으며, 이는 조기 탐지 능력을 입증한다.
• Ablation 연구를 통해 기울기 공간 및 데이터 공간 지표 모두가 필수적임을 확인하였으며, 단독으로 사용할 경우 성능 저하가 발생함을 입증하였다.
• 기울기 공간과 데이터 공간 기여도의 조합은 뛰어난 성능을 달성하였으며, 프로스타트 분할과 같은 저이질성 환경에서도 미세하지만 일관된 성능 향상이 관찰되었다.
• 이론적 분석을 통해 FedCE의 수렴성과 분포 이탈 하에서의 값 변화 상한선을 확인하였으며, 강건성의 타당성을 검증하였다.