[논문 리뷰] SemiFed: Semi-supervised Federated Learning with Consistency and Pseudo-Labeling

Haowen Lin, Jian Lou외 2명|arXiv (Cornell University)|2021. 08. 21.

Privacy-Preserving Technologies in Data참고 문헌 29인용 수 22

한 줄 요약

SemiFed는 일관성 정규화와 가짜 레이블링을 통합하여 레이블이 제한된 반감독 설정에서 모델 정확도를 향상시키는 통합된 피어드 학습 프레임워크를 제안한다. 증강된 시각 간의 일관성과 높은 신뢰도, 다수의 클라이언트가 일치하는 가짜 레이블만을 적용함으로써, CIFAR-10과 SVHN에서 IID 및 비IID 데이터 분포 모두에서 견고한 성능을 달성한다.

ABSTRACT

Federated learning enables multiple clients, such as mobile phones and organizations, to collaboratively learn a shared model for prediction while protecting local data privacy. However, most recent research and applications of federated learning assume that all clients have fully labeled data, which is impractical in real-world settings. In this work, we focus on a new scenario for cross-silo federated learning, where data samples of each client are partially labeled. We borrow ideas from semi-supervised learning methods where a large amount of unlabeled data is utilized to improve the model's accuracy despite limited access to labeled examples. We propose a new framework dubbed SemiFed that unifies two dominant approaches for semi-supervised learning: consistency regularization and pseudo-labeling. SemiFed first applies advanced data augmentation techniques to enforce consistency regularization and then generates pseudo-labels using the model's predictions during training. SemiFed takes advantage of the federation so that for a given image, the pseudo-label holds only if multiple models from different clients produce a high-confidence prediction and agree on the same label. Extensive experiments on two image benchmarks demonstrate the effectiveness of our approach under both homogeneous and heterogeneous data distribution settings

연구 동기 및 목표

• 클라이언트가 종종 부분적으로 레이블이 부여된 데이터를 가짐으로써, 완전한 감독 학습 가정이 현실적이지 않은 피어드 학습의 실용적 제약을 해결한다.
• 비독립 동일분포(Non-IID) 데이터로 인해 성능 저하가 발생할 수 있는 문제를 해결한다. 이는 레이블이 없는 데이터를 사용할 때 발생한다.
• 특히 일관성 정규화와 가짜 레이블링을 포함한 반감독 학습 기법을 피어드 학습 프레임워크에 통합하여, 레이블이 없는 데이터를 효과적으로 활용한다.
• 여러 클라이언트 모델이 동일한 레이블에 대해 높은 신뢰도로 일치할 경우에만 가짜 레이블링을 적용함으로써, 노이즈가 많거나 잘못된 가짜 레이블의 영향을 줄이고 신뢰도를 높인다.
• 동일한 데이터 분포 설정(비독립 동일분포, IID)과 이질적 데이터 분포 설정(비독립 동일분포, non-IID) 모두에서 제안된 방법의 효과성을 입증한다.

제안 방법

• 동일한 입력에 대한 변형된 시각 간에 예측이 일관되도록 하기 위해 고급 데이터 증강 기법(예: RandAugment)을 사용한 일관성 정규화를 적용한다.
• 모델을 처음에는 레이블이 있는 데이터만으로 학습한 후, 가짜 레이블링을 도입하기 전에 예측을 안정화시키기 위한 웜업 단계를 거친다.
• 로컬 및 글로벌 모델의 예측에서 높은 신뢰도(임계값 초과)를 보이는 경우, 레이블이 없는 샘플에 대해 가짜 레이블을 생성한다.
• 여러 클라이언트 모델이 동일한 레이블에 대해 높은 신뢰도로 일치할 경우에만 가짜 레이블링을 적용함으로써, 레이블 신뢰도를 높이고 노이즈를 줄인다.
• 레이블이 있는 데이터에 대한 감독 손실, 증강된 시각 간의 일관성 손실, 검증된 가짜 레이블이 부여된 데이터에 대한 가짜 감독 손실을 통합한 유일한 학습 목표를 사용한다.
• 절단 스케줄이 실험에서 성능 향상에 기여하지 않아, 학습 전반에 걸쳐 일정한 학습률을 유지한다.

실험 결과

연구 질문

• RQ1 비IID 데이터 분포 하에서 피어드 학습 환경에서 일관성 정규화가 레이블이 없는 데이터를 효과적으로 활용할 수 있는가?
• RQ2 피어드 환경에서 일관성 정규화와 결합된 가짜 레이블링이 모델 성능을 어떻게 향상시키는가?
• RQ3 높은 신뢰도 예측에 대한 다수 클라이언트의 일치가 가짜 레이블의 신뢰도를 높이고 성능 저하를 방지할 수 있는가?
• RQ4 제안된 SemiFed 프레임워크는 IID 및 비IID 데이터 분할 설정 모두에서 견고성과 일반화 능력을 유지하는가?
• RQ5 다양한 학습률 스케줄이 SemiFed 프레임워크의 수렴성과 정확도에 어떤 영향을 미치는가?

주요 결과

• SemiFed는 비IID 데이터 하에서 CIFAR-10에서 4,000개의 레이블이 있는 경우 75.51%의 테스트 정확도를 달성하여, 감독 기반 베이스라인 및 가짜 레이블링 전용 방법보다 뚜렷이 뛰어나다.
• 절단 실험 결과, 일관성 정규화만으로도 더 부드러운 학습과 더 나은 일반화 성능을 보였으며, 일관성 정규화가 없는 방법에 비해 검증 정확도가 시간이 지남에 따라 향상됨을 확인했다.
• 일관성 정규화 없이 가짜 레이블링만 적용해도 감독 학습에 비해 성능 향상이 이루어지지만, 전체 SemiFed 프레임워크가 모든 설정에서 가장 우수한 성능을 기록했다.
• SVHN에서는 4,000개의 레이블이 있는 경우 UDA 기반 베이스라인이 SemiFed를 略로 초월했으며, 이는 작업의 단순성과 높은 기본 정확도로 인해 향상 여유가 적어진 탓으로 보인다.
• 비IID 데이터 하에서도 메서드가 효과적으로 유지되어 분포 이동에 저항하고, 잘못된 레이블이 부여된 레이블이 없는 데이터로 인한 성능 저하를 피함을 입증했다.
• 일정한 학습률 사용이 감소 스케줄보다 더 좋은 결과를 내었으며, 이는 SemiFed 프레임워크에서 학습률 적응이 덜 중요한 것으로 나타났다.