[논문 리뷰] Fed-Focal Loss for imbalanced data classification in Federated Learning

Dipankar Sarkar, Ankur Narang외 1명|arXiv (Cornell University)|2020. 11. 12.

Privacy-Preserving Technologies in Data참고 문헌 15인용 수 34

한 줄 요약

본 논문은 연합학습에서 클래스 불균형을 해결하기 위해 쉬운 샘플의 가중치를 낮추고 어려운 샘플에 우선순위를 두는 Fed-Focal Loss를 제안하며, 비 IID 설정에서의 강건성을 향상시키기 위해 조정 가능한 클라이언트 샘플링 프레임워크를 사용합니다; 실험은 MNIST, FEMNIST, VSN, HAR에서의 개선과 함께 비균형 MNIST에서 9%p 이상 절대 이익을 보여줍니다.

ABSTRACT

The Federated Learning setting has a central server coordinating the training of a model on a network of devices. One of the challenges is variable training performance when the dataset has a class imbalance. In this paper, we address this by introducing a new loss function called Fed-Focal Loss. We propose to address the class imbalance by reshaping cross-entropy loss such that it down-weights the loss assigned to well-classified examples along the lines of focal loss. Additionally, by leveraging a tunable sampling framework, we take into account selective client model contributions on the central server to further focus the detector during training and hence improve its robustness. Using a detailed experimental analysis with the VIRTUAL (Variational Federated Multi-Task Learning) approach, we demonstrate consistently superior performance in both the balanced and unbalanced scenarios for MNIST, FEMNIST, VSN and HAR benchmarks. We obtain a more than 9% (absolute percentage) improvement in the unbalanced MNIST benchmark. We further show that our technique can be adopted across multiple Federated Learning algorithms to get improvements.

연구 동기 및 목표

• 비 IID 클라이언트 데이터와 함께 연합학습에서의 전역 클래스 불균형 해결.
• 잘 분류된 샘플의 가중치를 낮추고 어려운 사례에 초점을 맞추기 위해 Fed-Focal Loss 도입.
• 공여 클라이언트의 가중치를 매기기 위한 조정 가능한 클라이언트 샘플링 프레임워크를 통합.
• 균형/불균형 조건에서 MNIST, FEMNIST, VSN, HAR 전반의 개선을 입증.

제안 방법

• 알파와 감마를 사용하여 클래스의 균형을 맞추고 어려운 샘플에 초점을 맞춘 가중된 포컬 손실의 변형으로 Fed-Focal Loss를 정의합니다 (epsilon_FL(p_t) = -alpha(1-p_t)^gamma log(p_t)).
• 유효성 손실을 사용하여 기여 클라이언트를 우선적으로 선택하는 조정 가능한 클라이언트 샘플링 기전과 함께 Fed-Focal Loss를 통합합니다 (psi가 선택 편향을 제어합니다).
• 균형 및 불균형 데이터 분포 하에서 평가의 실험 골격으로 VIRTUAL(variational federated multi-task learning)을 사용합니다.
• robustness 및 수렴성을 평가하기 위해 클라이언트 샘플링 비율(psi)과 포컬-손실의 하이퍼파라미터(gamma, alpha)에 대한 제거 연구를 수행하여 강건성 및 수렴성을 평가합니다.
• MLP 아키텍처와 매 라운드 기본 0.10의 클라이언트 참여를 사용하여 MNIST, Sampled-FEMNIST, VSN, HAR 데이터셋에서 평가합니다.

실험 결과

연구 질문

• RQ1 비균형 및 비 IID 데이터가 있는 연합학습에서 Fed-Focal Loss가 표준 교차 엔트로피보다 정확도를 향상시키나요?
• RQ2 조정 가능한 클라이언트 샘플링 전략이 Fed-Focal Loss 하에서 글로벌 모델의 성능과 수렴에 어떤 영향을 미치나요?
• RQ3 Fed-Focal Loss의 이점이 다양한 연합 데이터셋(MNIST, FEMNIST, VSN, HAR)과 다양한 데이터 분포에서 견고한가요?
• RQ4 성능과 안정성에 대한 하이퍼파라미터 gamma, alpha 및 psi의 영향은 무엇인가요?

주요 결과

• Fed-Focal Loss는 모든 테스트 데이터셋에서 균형 및 불균형 연합 설정 모두에서 CE에 대해 일관된 성능 향상을 보입니다.
• 비균형 MNIST에서 Fed-Focal Loss는 정확도에서 9% 이상의 절대 향상을 달성합니다.
• VIRTUAL과 함께 Fed-Focal Loss는 IID 및 강한 비 IID 시나리오에서 최고 성능을 유지하며 Sampled-FEMNIST 및 HAR에서 다른 방법을 능가합니다.
• ablation 연구는 psi를 약 0.6–0.8, gamma를 약 2.0에서 최상의 결과를 보이며, 작은 gamma 값이 비균형 MNIST에서 도움이 됨을 보여줍니다.
• Fed-Focal Loss는 또한 표준 CE에 비해 더 부드러운 수렴과 향상된 학습 안정성을 보여줍니다.