[논문 리뷰] FedSiam: Towards Adaptive Federated Semi-Supervised Learning

Zewei Long, Liwei Che외 6명|arXiv (Cornell University)|2020. 12. 06.

Privacy-Preserving Technologies in Data참고 문헌 48인용 수 10

한 줄 요약

FedSiam는 레이어별 가중치 분산 기반의 적응형 레이어 선택 메커니즘을 도입한 새로운 피어드 세미지도 학습 프레임워크를 제안한다. 모멘텀 업데이트를 활용한 사이아네스 네트워크를 통해 모델의 일반화 능력을 향상시키고, 클라이언트와 서버에서 레이블이 존재하는 경우 모두 비독립 동일 분포(Non-IID) 데이터를 효과적으로 처리한다. 이로 인해 다양한 데이터셋과 데이터 분포 설정에서 최신 기술 수준의 성능을 달성하면서도 통신 효율성을 향상시킨다.

ABSTRACT

Federated learning (FL) has emerged as an effective technique to co-training machine learning models without actually sharing data and leaking privacy. However, most existing FL methods focus on the supervised setting and ignore the utilization of unlabeled data. Although there are a few existing studies trying to incorporate unlabeled data into FL, they all fail to maintain performance guarantees or generalization ability in various real-world settings. In this paper, we focus on designing a general framework FedSiam to tackle different scenarios of federated semi-supervised learning, including four settings in the labels-at-client scenario and two setting in the labels-at-server scenario. FedSiam is built upon a siamese network into FL with a momentum update to handle the non-IID challenges introduced by unlabeled data. We further propose a new metric to measure the divergence of local model layers within the siamese network. Based on the divergence, FedSiam can automatically select layer-level parameters to be uploaded to the server in an adaptive manner. Experimental results on three datasets under two scenarios with different data distribution settings demonstrate that the proposed FedSiam framework outperforms state-of-the-art baselines.

연구 동기 및 목표

• 비독립 동일 분포 데이터 분포 조건에서 성능과 일반화 능력을 유지하면서도 레이블이 없는 데이터를 효과적으로 활용하는 도전 과제를 해결한다.
• 기존 FedSSL 방법이 가짜 레이블에 과적합되거나 복잡한 데이터 분포 설정에서 낮은 강건성을 보이는 데 기인한 한계를 극복한다.
• 클라이언트와 서버에서 레이블이 존재하는 경우를 포함한 다양한 FedSSL 시나리오에서 효과적으로 작동하는 일반화 가능한 프레임워크를 제안한다. 이는 IID 및 Non-IID 조건 모두에서 유의미하다.
• 통신 비용을 줄이기 위해 가장 정보가 풍부한 모델 레이어만 업로드하는 데 초점을 맞춘 새로운 적응형 레이어 선택 메커니즘을 도입한다.
• 통계적 데이터 이질성 존재 조건에서도 훈련을 안정화시키는 모멘텀 기반 업데이트 전략을 통해 모델의 강건성을 향상시킨다.

제안 방법

• 동일한 가중치를 공유하는 두 개의 동일한 브랜치로 구성된 사이아네스 네트워크 아키텍처를 사용하여 동일 입력의 서로 다른 시각 간 일관성 정규화를 가능하게 한다.
• 사이아네스 프레임워크 내에서 타겟 네트워크의 안정성을 높이기 위해 모멘텀 업데이트 메커니즘을 적용하여 분포 이탈을 감소시키고 훈련 안정성을 향상시킨다.
• 두 사이아네스 브랜치의 대응 레이어 간의 차이를 정량화하기 위해 레이어 수준의 가중치 분산 메트릭을 설계하여 적응형 모델 압축을 가능하게 한다.
• 이 분산 메트릭을 활용해 서버로 업로드할 레이어를 동적으로 선택함으로써 통신 비용을 줄이고 성능 손실 없이 효율성을 확보한다.
• 정규화 손실과 일관성 손실을 조합하여 로컬 모델을 훈련시키며, 레이블이 있는 데이터와 없는 데이터의 학습 경로를 분리하기 위해 정지 기울기(Stop-gradient) 연산을 적용한다.
• 클라이언트에서 레이블이 존재하는 경우와 서버에서 레이블이 존재하는 경우를 모두 고려하여 훈련 및 집계 절차를 적절히 조정함으로써 둘 다 지원한다. 특히 후자의 경우 서버 측 모델 업데이트를 포함한다.

실험 결과

연구 질문

• RQ1 클라이언트에서 레이블이 있는 데이터와 없는 데이터가 모두 존재하는 조건에서 비독립 동일 분포 데이터 분포에 대해 어떻게 피어드 세미지도 학습을 강건하게 만들 수 있는가?
• RQ2 모멘텀 업데이트를 적용한 사이아네스 네트워크 아키텍처가 피어드 세미지도 학습에서 일반화 능력을 향상시키고 과적합을 줄일 수 있는가?
• RQ3 성능와 통신 비용을 균형 있게 유지하기 위해 피어드 학습에서 어떤 모델 레이어를 통신할지 효과적이고 적응적으로 선택하는 메커니즘이 무엇인가?
• RQ4 제안된 FedSiam 프레임워크는 IID 및 Non-IID 조건을 포함한 다양한 데이터 분포 설정에서 어떻게 성능을 발휘하는가?
• RQ5 레이블이 클라이언트에 존재하지 않는 레이블-서버 시나리오를 포함한 다양한 FedSSL 설정에서 프레임워크가 일반화 가능한가?

주요 결과

• FedSiam는 MNIST, CIFAR-10, SVHN 세 가지 벤치마크 데이터셋에서 IID 및 Non-IID 데이터 분포 설정 모두에서 최신 기술 수준의 기준선을 초월한다.
• Non-IID-I 설정에서 KL 분산 손실을 사용한 FedSiam는 CIFAR-10에서 48.11%의 정확도를 기록했으며, 동일 조건에서 MSE 손실 기반 기준선(41.09%)보다 뚜렷하게 높은 성능을 보였다.
• MNIST 및 SVHN에서 Non-IID-I 조건 하에서 MSE 손실을 사용한 FedSiam는 각각 95.61% 및 81.61%의 정확도를 기록했으며, 기존 기준선을 모두 앞서갔다.
• 적응형 레이어 선택 메커니즘이 고분산 레이어만 선택적으로 업로드함으로써 통신 오버헤드를 감소시켜 효율성을 향상시켰다. 이는 정확도 손실 없이도 가능했다.
• 모멘텀 업데이트 전략이 훈련을 안정화시키고 수렴을 향상시켰으며, 특히 데이터 이질성이 높은 비독립 동일 분포 설정에서 두드러진 효과를 보였다.
• FedSiam는 레이블-클라이언트 및 레이블-서버 시나리오 모두에서 강력한 일반화 능력을 보였으며, 실제 피어드 학습 환경의 제약 조건에 대한 강건성과 적응 가능성에 대한 검증을 완료했다.