[논문 리뷰] Federated Semi-Supervised Learning with Prototypical Networks

Woojung Kim, Keondo Park외 3명|arXiv (Cornell University)|2022. 05. 27.

Privacy-Preserving Technologies in Data인용 수 5

한 줄 요약

이 논문은 경량 클래스 프로토타입을 활용한 상호 클라이언트 지식 공유를 통해, 최소한의 통신 및 계산 비용으로도 비라벨 데이터에 대한 정확한 가짜 레이블링을 가능하게 하는 새로운 피어드 세미-초기 학습 프레임워크인 ProtoFSSL을 제안한다. 프로토타입 네트워크를 활용한 일致성 정규화를 통해 ProtoFSSL은 SVHN에서 완전히 감독된 FL 수준의 최신 기술 성능을 달성하면서도, FedMatch 대비 통신량을 2배 줄이고 클라이언트 측 계산량을 1.7–3.4배 감소시킨다.

ABSTRACT

With the increasing computing power of edge devices, Federated Learning (FL) emerges to enable model training without privacy concerns. The majority of existing studies assume the data are fully labeled on the client side. In practice, however, the amount of labeled data is often limited. Recently, federated semi-supervised learning (FSSL) is explored as a way to effectively utilize unlabeled data during training. In this work, we propose ProtoFSSL, a novel FSSL approach based on prototypical networks. In ProtoFSSL, clients share knowledge with each other via lightweight prototypes, which prevents the local models from diverging. For computing loss on unlabeled data, each client creates accurate pseudo-labels based on shared prototypes. Jointly with labeled data, the pseudo-labels provide training signals for local prototypes. Compared to a FSSL approach based on weight sharing, the prototype-based inter-client knowledge sharing significantly reduces both communication and computation costs, enabling more frequent knowledge sharing between more clients for better accuracy. In multiple datasets, ProtoFSSL results in higher accuracy compared to the recent FSSL methods with and without knowledge sharing, such as FixMatch, FedRGD, and FedMatch. On SVHN dataset, ProtoFSSL performs comparably to fully supervised FL methods.

연구 동기 및 목표

• 라벨이 부족한 환경에서 피어드 학습의 도전 과제를 해결하기 위해, 클라이언트 측 비라벨 데이터를 효과적으로 활용하는 것.
• 모델 정확도를 유지하면서도 피어드 세미-초기 학습(FSSL)에서의 통신 및 계산 오버헤드를 줄이는 것.
• 완전한 모델 가중치 대신 경량 프로토타입을 사용할 경우, 상호 클라이언트 지식 공유가 FSSL에서 효과적으로 작용할 수 있는지 조사하는 것.
• 비i.i.d. 데이터 환경에서 국소 모델의 분리 문제를 완화하는 통신 효율적이고 계산이 경량인 메커니즘을 설계하는 것.
• 프로토타입 기반 지식 공유와 정규화 기법 간의 상호작용이 FSSL에서 어떻게 작용하는지 평가하는 것.

제안 방법

• ProtoFSSL은 각 클라이언트의 로컬 데이터로부터 클래스 수준 임베딩(프로토타입)을 학습하기 위해 프로토타입 네트워크를 사용하며, 이를 통해 지식 이동을 가능하게 한다.
• 각 클라이언트는 공유된 프로토타입을 사용해 자신의 비라벨 데이터에 대해 가짜 레이블을 생성하고, 일치성 정규화를 적용하여 가짜 레이블의 품질을 향상시킨다.
• 클라이언트 간 지식 공유가 경량 프로토타입(일반적으로 모델 가중치보다 13,000배 작다)을 통해 이루어져, FedMatch와 같은 가중치 공유 방식보다 통신 비용을 크게 줄인다.
• 프레임워크는 활성 클라이언트가 다른 클라이언트와 프로토타입을 공유하는 헬퍼 기반 메커니즘을 도입하여 빈번하고 확장 가능한 지식 교환을 가능하게 한다.
• 프로토타입 집합 전략은 일부 클라이언트가 저품질 프로토타입을 공유하더라도 강인성을 유지하도록 하며, 노이즈 주입을 통해 추가로 프라이버시를 향상시킬 수 있다.
• 이 방법은 배치 정규화(BN), 그룹 정규화(GN), 스케일드 배치 정규화(sBN)와 같은 정규화 기법과 원활하게 통합되며, 차등 프라이버시 및 다중 파arty 집계와도 호환되어 보안성을 강화한다.

실험 결과

연구 질문

• RQ1 피어드 세미-초기 학습에서 경량 프로토타입 공유가 클라이언트 측 계산량이나 통신량을 증가시키지 않으면서도 모델 분리 문제를 효과적으로 줄일 수 있는가?
• RQ2 FedMatch와 같은 가중치 공유 방식과 비교할 때, 프로토타입 기반 상호 클라이언트 지식 공유가 정확도, 통신, 계산 효율성 측면에서 어떻게 성능을 내는가?
• RQ3 공유된 프로토타입을 통한 클라이언트 간 일致성 정규화는 비i.i.d. 및 라벨 수가 적은 환경에서 모델 수렴을 향상시키는가?
• RQ4 BN, GN, sBN과 같은 정규화 기법과의 상호작용에서 ProtoFSSL의 성능과 수렴 특성은 어떻게 나타나는가?
• RQ5 특히 데이터 비균형 환경에서 모델 정확도를 유지하면서도 프로토타입 공유를 프라이버시 보장 가능하게 만들 수 있는가?

주요 결과

• ProtoFSSL은 CIFAR-10, SVHN, STL-10에서 최근 FSSL 방법들보다 2.9%에서 5.7% 높은 테스트 정확도를 달성했으며, 라벨 수가 제한된 환경에서도 성능을 유지를 하였다.
• SVHN 데이터셋에서 ProtoFSSL은 완전히 감독된 FL 수준의 성능을 달성하여, 극히 적은 라벨로도 강력한 일반화 능력을 보였다.
• FedMatch 대비 통신 비용을 2배 줄이고 클라이언트 측 계산량을 1.7–3.4배 감소시켰으며, 이는 모델 가중치 대신 경량 프로토타입을 사용한 덕분이었다.
• 전통적인 배치 정규화(BN)에서 가장 우수한 성능을 보였으며, 이는 정규화 효과가 프레임워크에 따라 의존적임을 보여주며, 모든 FL 시스템에 일반화되지 않음을 시사한다.
• ProtoFSSL은 정규화 기법과 강력한 시너지를 보이며, BN, GN, sBN을 포함한 모든 테스트된 방법에서 수렴성을 향상시켰고, 특히 비i.i.d. 환경에서 두드러진 성능 향상을 보였다.
• ResNet17와 같은 더 큰 모델에서도 효과를 유지했으며, 심각한 오버피팅 현상 없이 복잡한 아키텍처로의 확장성도 입증되었다.