[논문 리뷰] L-DAWA: Layer-wise Divergence Aware Weight Aggregation in Federated Self-Supervised Visual Representation Learning

Yasar Abbas Ur Rehman, Yan Gao외 4명|arXiv (Cornell University)|2023. 07. 14.

Privacy-Preserving Technologies in Data인용 수 6

한 줄 요약

이 논문은 피어드 자기지도 학습 시각 표현 학습을 위한 새로운 계층별 분산 인식 집합 방법인 L-DAWA를 제안한다. 이 방법은 각 계층에서 클라이언트 모델과 글로벌 모델 간의 각도 분산을 기반으로 모델 업데이트를 가중치화하여 클라이언트 편향을 줄인다. 대조적이고 비대조적 SSL 방법을 모두 사용하여 CIFAR-10/100 및 Tiny ImageNet에서 크로스실 및 크로스디바이스 설정 모두에서 새로운 최고 성능을 달성한다.

ABSTRACT

The ubiquity of camera-enabled devices has led to large amounts of unlabeled image data being produced at the edge. The integration of self-supervised learning (SSL) and federated learning (FL) into one coherent system can potentially offer data privacy guarantees while also advancing the quality and robustness of the learned visual representations without needing to move data around. However, client bias and divergence during FL aggregation caused by data heterogeneity limits the performance of learned visual representations on downstream tasks. In this paper, we propose a new aggregation strategy termed Layer-wise Divergence Aware Weight Aggregation (L-DAWA) to mitigate the influence of client bias and divergence during FL aggregation. The proposed method aggregates weights at the layer-level according to the measure of angular divergence between the clients' model and the global model. Extensive experiments with cross-silo and cross-device settings on CIFAR-10/100 and Tiny ImageNet datasets demonstrate that our methods are effective and obtain new SOTA performance on both contrastive and non-contrastive SSL approaches.

연구 동기 및 목표

• 데이터 이질성과 비독립 동일 분포(non-IID) 데이터 분포로 인한 피어드 자기지도 학습(F-SSL)에서의 클라이언트 편향과 모델 분산 문제를 해결하기 위해.
• FedAvg가 데이터 양에 의존하고 계층 수준의 민감성 부족으로 인해 글로벌 모델의 최적 성능이 저하되는 문제를 완화하기 위해.
• 모델 집합에 계층별 분산 측정치를 통합하여 다운스트림 작업 성능을 향상시키기 위해.
• 대조적이고 비대조적 SSL 방법을 모두 사용하여 크로스실 및 크로스디바이스 FL 설정에서 최고 성능을 달성하기 위해.

제안 방법

• L-DAWA는 각 클라이언트의 모델 계층과 글로벌 모델의 해당 계층 간의 각도 분산을 계산하여 계층별 이질성을 정량화한다.
• 각 클라이언트의 모델 계층에 대해 그들의 각도 분산에 기반해 적응형 가중치를 할당하여 분산되거나 편향된 클라이언트의 영향을 줄인다.
• 이 방법은 계층 수준 집합을 수행하며, 글로벌 모델의 각 계층이 해당 클라이언트 계층들의 가중 평균으로 업데이트된다.
• 가중치 부여 방식은 낮은 각도 분산을 가진 클라이언트를 우선시하여 더 안정적이고 대표적인 글로벌 모델 업데이트를 보장한다.
• L-DAWA는 기존의 집합 전략(FedAvg, Loss, FedU)과 호환되며 플러그인 형태의 향상 기능으로 통합될 수 있다.
• 이 방법은 다양한 SSL 방법(SimCLR, Barlow Twins 등)과 데이터셋(CIFAR-10/100, Tiny ImageNet)을 대상으로 크로스실 및 크로스디바이스 FL 설정 모두에서 평가되었다.

실험 결과

연구 질문

• RQ1 계층별 각도 분산은 피어드 자기지도 학습에서 모델 집합에 어떻게 영향을 미치는가?
• RQ2 계층별 분산에 따라 클라이언트 모델 업데이트를 가중치화하면 클라이언트 편향을 줄이고 글로벌 모델 성능을 향상시킬 수 있는가?
• RQ3 L-DAWA는 다양한 SSL 방법에서 크로스실 및 크로스디바이스 FL 설정 모두에서 FedAvg, Loss, FedU를 초월하는가?
• RQ4 L-DAWA는 다양한 수준의 데이터 비독립 동일 분포(non-IID)와 다운스트림 전이 학습 작업으로 일반화되는가?

주요 결과

• 크로스실 설정에서 CIFAR-10에서 α=0.1의 높은 비독립 동일 분포 조건에서 L-DAWA는 SimCLR 기반으로 FedAvg 대비 9.37% 향상된 성능을 기록했다.
• 크로스실 설정에서 Tiny ImageNet에서의 크로스데이터셋 전이 학습에서 L-DAWA는 CIFAR-10에서 81.87%의 정확도를 기록했으며, FedAvg 대비 4.4% 향상되었고, CIFAR-100에서는 57.81%의 정확도로 FedAvg 대비 5.7% 향상되었다.
• 크로스디바이스 설정에서 L-DAWA는 SimCLR 기반으로 Tiny ImageNet에서 37.72%의 정확도를 기록했으며, 동일 조건에서 FedAvg(32.92%) 대비 4.8% 향상된 성능을 보였다.
• L-DAWA를 FedAvg, Loss, FedU와 통합하면 성능이 일관되게 향상되었으며, L-DAWA Loss는 크로스디바이스 설정에서 CIFAR-10에서 68.79%, CIFAR-100에서 61.36%의 정확도를 기록했다.
• L-DAWA는 다양한 비독립 동일 분포 수준에서 뛰어난 안정성을 보였으며, α=0.2에서 최고 성능를 기록하여 클래스 분포와 레이블 불균형이 비독립 동일 분포 특성에 영향을 미친다는 것을 시사한다.