[논문 리뷰] FedCM: A Real-time Contribution Measurement Method for Participants in Federated Learning

Boyi Liu, Bingjie Yan외 3명|arXiv (Cornell University)|2020. 09. 08.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 연합 학습(FL) 참가자들의 실시간 기여도 측정 방법인 FedCM을 제안한다. 이 방법은 각 에이전트가 모델 향상에 기여하는 영향을 라운드 간에 동적으로 평가하기 위해 주의 기반 집계를 사용한다. FedCM는 데이터 품질과 양에 대해 실시간, 경량적이고 민감한 평가를 가능하게 하며, 기존 최고 수준의 방법인 샤플리 값보다 저품질 또는 데이터가 감소한 참가자를 더 잘 탐지한다. 또한 실세계 FL 시스템에 구현 가능한 특성을 지닌다.

ABSTRACT

Federated Learning (FL) creates an ecosystem for multiple agents to collaborate on building models with data privacy consideration. The method for contribution measurement of each agent in the FL system is critical for fair credits allocation but few are proposed. In this paper, we develop a real-time contribution measurement method FedCM that is simple but powerful. The method defines the impact of each agent, comprehensively considers the current round and the previous round to obtain the contribution rate of each agent with attention aggregation. Moreover, FedCM updates contribution every round, which enable it to perform in real-time. Real-time is not considered by the existing approaches, but it is critical for FL systems to allocate computing power, communication resources, etc. Compared to the state-of-the-art method, the experimental results show that FedCM is more sensitive to data quantity and data quality under the premise of real-time. Furthermore, we developed federated learning open-source software based on FedCM. The software has been applied to identify COVID-19 based on medical images.

연구 동기 및 목표

• 실시간으로 공정한 기여도 측정이 가능한 연합 학습 시스템의 부족을 해결하여 자원 할당 및 인centive 메커니즘을 이끌어내는 것.
• 오프라인 계산이나 높은 오버헤드 없이도 에이전트 기여도를 평가할 수 있는 경량적이고 계산 효율적인 방법을 개발하는 것.
• 실시간으로 저품질 또는 볼륨이 감소한 데이터를 기여하는 에이전트를 정확하게 탐지하는 것.
• 실세계 응용 분야(예: 의료 영상 분석)에 적합한 실시간 구현이 가능한 오픈소스 FL 소프트웨어를 지원하여 기여도 측정 기능을 통합하는 것.
• 동적 기여도 추적을 통해 조기에 성능이 열악하거나 악성일 수 있는 에이전트를 식별함으로써 연합 학습의 공정성과 보안을 향상시키는 것.

제안 방법

• FedCM은 각 클라이언트의 학습 라운드 동안의 모델 업데이트를 기반으로 동적 주의 가중치를 계산하기 위해 주의 메커니즘을 사용한다.
• 서버 측 모델 파라미터의 변화를 분석하여 기여도를 집계하며, 현재 및 이전 라운드의 정보를 모두 활용한다.
• 모델 레이어 전반에 걸쳐 주의 가중치와 파라미터 변화를 조합하는 수학적 공식을 통해 기여도 비율을 계산한다.
• 주목적 기반 모델을 활용하여 각 에이전트의 업데이트가 글로벌 모델의 성능 향상에 미치는 영향을 평가한다.
• 실시간 운영을 위해 설계되어 매 통신 라운드 후 기여도를 즉각 갱신하며, 자원 할당을 위한 즉각적인 피드백을 가능하게 한다.
• 개방소스 FL 프레임워크인 FedMedical에 통합되어 있으며, 개인정보 보호를 고려한 의료 AI 응용 분야에 구현 가능하다.

실험 결과

연구 질문

• RQ1 연합 학습에서 에이전트의 기여도는 어떻게 실시간으로 측정할 수 있으며, 이는 동적 자원 할당을 지원하는 데 어떻게 기여하는가?
• RQ2 기존 오프라인 방법과 비교해 볼 때, 제안된 방법은 데이터 양과 품질의 변화에 얼마나 민감한가?
• RQ3 학습 중에 저품질 또는 볼륨이 감소한 데이터를 제공하는 에이전트를 효과적으로 탐지하고 징벌할 수 있는가?
• RQ4 주의 기반 집계 메커니즘은 샤플리 값에 비해 기여도 측정의 공정성과 반응성에서 어떻게 향상되는가?
• RQ5 의료 영상 분석과 같은 실세계 FL 시스템에 대해 높은 계산 오버헤드 없이도 효율적으로 구현 가능한가?

주요 결과

• FedCM은 샤플리 값보다 데이터의 양과 품질에 더 민감한 것으로 나타났으며, 특히 데이터 볼륨이 감소한 경우(예: 70% 감소)에 효과적으로 탐지했다.
• 랜덤 단어 시퀀스를 데이터로 사용한 실험에서 FedCM은 이러한 에이전트를 성공적으로 식별하고 낮은 기여도를 할당했으며, 샤플리 값과 유사한 결과를 실시간으로 도출했다.
• 정상적인 데이터 분포 하에서 기여도 점수는 일관되고 안정적이며, 참가자 간의 변동성이 최소한이었다.
• 다른 참가자들에 비해 데이터 볼륨이 30%와 70% 감소한 경우, FedCM은 상대적인 차이를 명확히 반영했지만, 샤플리 값은 이러한 차이를 효과적으로 포착하지 못했다.
• FedCM 기반의 오픈소스 소프트웨어인 FedMedical은 분산된 병원 간에 개인정보 보호를 고려한 실시간 연합 학습을 통해 코로나19 감지에 성공적으로 활용되었다.
• FedCM는 실시간 기여도 추적을 가능하게 하여, 생산용 FL 시스템에서 동적 인centive 메커니즘과 자원 할당에 적합하다.