[논문 리뷰] FedSemi: An Adaptive Federated Semi-Supervised Learning Framework.

Zewei Long, Liwei Che외 6명|arXiv (Cornell University)|2020. 12. 06.

Privacy-Preserving Technologies in Data참고 문헌 29인용 수 14

한 줄 요약

FedSemi는 페더레이티드 러닝에서 비라벨 데이터를 효과적으로 활용하면서 성능 보장을 유지하기 위해 일致성 정규화를 통해 교사-학생 모델을 통합한 적응형 페더레이티드 세미지도 학습 프레임워크를 제안한다. 계층별 분산도 측도를 도입함으로써, 업로드할 모델 파라미터를 동적으로 선택함으로써, 기존 최고 수준의 기준 대비 IID 및 Non-IID 환경에서 성능 향상을 이룬다.

ABSTRACT

Federated learning (FL) has emerged as an effective technique to co-training machine learning models without actually sharing data and leaking privacy. However, most existing FL methods focus on the supervised setting and ignore the utilization of unlabeled data. Although there are a few existing studies trying to incorporate unlabeled data into FL, they all fail to maintain performance guarantees or generalization ability in various settings. In this paper, we tackle the federated semi-supervised learning problem from the insight of data regularization and analyze the new-raised difficulties. We propose FedSemi, a novel, adaptive, and general framework, which firstly introduces the consistency regularization into FL using a teacher-student model. We further propose a new metric to measure the divergence of local model layers. Based on the divergence, FedSemi can automatically select layer-level parameters to be uploaded to the server in an adaptive manner. Through extensive experimental validation of our method in four datasets, we show that our method achieves performance gain under the IID setting and three Non-IID settings compared to state-of-the-art baselines.

연구 동기 및 목표

• 라벨이 없는 데이터를 효과적으로 활용하지 못하면서도 성능 보장을 유지하는 페더레이티드 러닝 프레임워크의 격차를 해소하기 위해.
• 다양한 데이터 분포 설정에서 일반화 능력이 떨어지는 기존의 세미지도 학습 페더레이티드 러닝 방법의 한계를 극복하기 위해.
• 로컬 모델의 분산도에 기반해 어떤 모델 계층을 업로드할지 적응적으로 선택하는 메커니즘을 개발하여, 통신 효율성과 모델 정확도를 향상시키기 위해.
• 실제 페더레이티드 러닝에서 흔히 볼 수 있는 독립적이고 동일한 분포(IID) 및 비독립적 비동일 분포(Non-IID) 데이터 설정에서 강력한 성능을 유지를 하기 위해.
• 모델 일반화를 향상시키는 방식으로 수동 튜닝 없이도 작동하는 새로운 계층 수준의 분산도 측도를 도입하기 위해.

제안 방법

• 학생 모델은 라벨이 있는 데이터로 훈련되고, 교사 모델은 비라벨 데이터에 대해 의사 라벨을 제공하는 페더레이티드 러닝에서 교사-학생 정규화 프레임워크를 채택한다.
• 동일한 입력의 원본 및 증강된 시각에 대해 학생 모델의 출력 간 일관성을 강제함으로써 일관성 정규화를 적용한다.
• 로컬 학생 모델과 교사 모델의 대응 계층 간 차이를 정량화하기 위해 새로운 분산도 측도를 도입한다.
• 계층별 분산도 측도를 사용하여, 더 높은 분산도를 보이는 계층을 우선순위로 업로드할 수 있도록 동적으로 어떤 계층을 업로드할지 선택한다.
• 높은 분산도를 보이는 클라이언트의 기여도를 강조하는 가중치 평균 전략을 사용하여 글로벌 모델을 훈련시킴으로써 다양성과 강건성을 증진시킨다.
• 기존의 페더레이티드 최적화 알고리즘과의 원활한 통합을 가능하게 하기 위해, 표준 페더레이티드 러닝 훈련 파이프라인에 적응형 업로드 메커니즘을 통합한다.

실험 결과

연구 질문

• RQ1 일관성 정규화는 어떻게 적극적으로 페더레이티드 세미지도 학습 학습에 통합되어 모델 일반화를 향상시킬 수 있는가?
• RQ2 페더레이티드 환경에서 어떤 계층을 업로드할지 선택하는 데 신뢰성 있고 적응적인 측도는 무엇인가?
• RQ3 적응형 계층 선택 메커니즘은 IID 및 Non-IID 데이터 분포 설정 모두에서 성능 향상을 이끌 수 있는가?
• RQ4 다양한 데이터 왜곡 상황에서 FedSemi는 최고 수준의 기준 대비 정확도와 강건성 측면에서 어떻게 비교되는가?
• RQ5 제안된 분산도 기반의 선택 전략은 통신 오버헤드를 증가시키지 않으면서도 모델 일반화를 향상시킬 수 있는가?

주요 결과

• FedSemi는 IID 및 세 가지 Non-IID 데이터 분포 설정에서 네 가지 벤치마크 데이터셋에서 최고 수준의 기준 대비 일관된 성능 향상을 달성한다.
• 교사-학생 프레임워크와 함께 일관성 정규화를 사용함으로써, 페더레이티드 환경에서 비라벨 데이터를 효과적으로 활용함으로써 모델 정확도가 크게 향상된다.
• 제안된 계층별 분산도 측도는 업로드에 적합한 정보성 있는 모델 계층을 성공적으로 식별하여, 적응형 통신을 통해 모델 일반화를 향상시킨다.
• 적응형 파rameter 선택 메커니즘은 고분산도 계층에 집중함으로써 불필요한 통신을 줄여 훈련 효율성을 향상시키면서도 성능을 손상시키지 않는다.
• FedSemi는 심한 데이터 왜곡 상황에서도 강력한 일반화 능력을 유지하며, 특히 Non-IID 시나리오에서 기존 방법들을 능가한다.
• 실증 결과는 FedSemi가 특히 라벨이 적은 데이터 환경에서 기준 대비 더 높은 테스트 정확도를 달성함으로써, 세미지도 학습 페더레이티드 러닝에서의 효과성을 입증한다.