[논문 리뷰] Federated Semi-Supervised Learning with Inter-Client Consistency & Disjoint Learning

Wonyong Jeong, Jaehong Yoon외 2명|arXiv (Cornell University)|2020. 06. 22.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 피어드된 반감성 학습(Federated Semi-Supervised Learning, FSSL)을 위한 새로운 프레임워크인 피어드 매칭(FedMatch)을 제안한다. 이는 라벨이 클라이언트에 있는 경우(labels-at-client)와 라벨이 서버에만 있는 경우(labels-at-server)라는 두 가지 현실적인 시나리오를 다룬다. FedMatch는 새로운 일관성 손실을 통해 클라이언트 간 일관성을 강제하고, 파라미터 분해를 사용하여 지도학습과 비지도학습을 분리함으로써 간섭과 통신 비용을 줄인다. 이는 다양한 벤치마크에서 비-i.i.d. 및 i.i.d. 데이터 상황에서 로컬 SSL과 단순한 FL+SSL 조합보다 뚜렷이 뛰어난 성능을 보인다.

ABSTRACT

While existing federated learning approaches mostly require that clients have fully-labeled data to train on, in realistic settings, data obtained at the client-side often comes without any accompanying labels. Such deficiency of labels may result from either high labeling cost, or difficulty of annotation due to the requirement of expert knowledge. Thus the private data at each client may be either partly labeled, or completely unlabeled with labeled data being available only at the server, which leads us to a new practical federated learning problem, namely Federated Semi-Supervised Learning (FSSL). In this work, we study two essential scenarios of FSSL based on the location of the labeled data. The first scenario considers a conventional case where clients have both labeled and unlabeled data (labels-at-client), and the second scenario considers a more challenging case, where the labeled data is only available at the server (labels-at-server). We then propose a novel method to tackle the problems, which we refer to as Federated Matching (FedMatch). FedMatch improves upon naive combinations of federated learning and semi-supervised learning approaches with a new inter-client consistency loss and decomposition of the parameters for disjoint learning on labeled and unlabeled data. Through extensive experimental validation of our method in the two different scenarios, we show that our method outperforms both local semi-supervised learning and baselines which naively combine federated learning with semi-supervised learning. The code is available at https://github.com/wyjeong/FedMatch.

연구 동기 및 목표

• 피어드 학습에서 라벨이 제한적이거나 전혀 없을 때의 실용적 과제를 해결하기 위해, 클라이언트가 종종 부분적으로만 라벨이 있거나 완전히 라벨이 없는 데이터를 갖는 상황을 고려한다.
• 라벨이 클라이언트에 있거나 서버에만 있는 두 가지 현실적인 시나리오를 처리할 수 있는 통합된 프레임워크를 제안하기 위해, 피어드 반감성 학습(Federated Semi-Supervised Learning, FSSL)을 위한 통합 프레임워크를 제안한다.
• 모델 파라미터를 조밀한(라벨이 있는) 및 희소한(라벨이 없는) 구성요소로 분해하여, 지도학습과 비지도학습 간의 간섭을 줄인다.
• 파라미터 차이 전송을 통해 통신 비용을 최소화하기 위해, 전체 모델 가중치가 아닌 국소 모델과 글로벌 모델 간의 차이만 전송한다.
• 클라이언트 간 예측이 일치하도록 보장하는 클라이언트 간 일관성 손실을 통해 모델 일반화 성능을 향상시킨다.

제안 방법

• 다른 클라이언트의 모델 예측 간 일치를 극대화하는 클라이언트 간 일관성 손실을 도입하여, 피어드 네트워크 전반에 걸쳐 지식 정복을 촉진한다.
• 모델 가중치를 두 부분으로 분할하는 파라미터 분해 전략을 사용한다: 라벨이 있는 데이터를 위한 조밀한 구성요소와 라벨이 없는 데이터를 위한 희소한 추가 구성요소.
• 희소한 추가 파라미터 업데이트를 통해 비지도학습을 지도학습에서 분리함으로써, 치명적인 기억 상실과 간섭을 줄인다.
• 전체 모델 가중치가 아닌 글로벌 모델과 국소 모델 간의 차이만 전송함으로써 통신 비용을 줄인다.
• 기본적인 반감성 학습 기법(예: 가짜 라벨링, 데이터 증강)을 클라이언트의 국소 학습에서 사용하며, 분해된 파라미터를 통해 분리된 학습을 수행한다.
• FedAvg 방식의 평균화를 사용해 서버에서 국소 모델을 집계하지만, 클라이언트 간 일관성 정규화를 강제한다.

실험 결과

연구 질문

• RQ1 라벨이 서버에만 있을 때, 피어드 학습 프레임워크가 라벨이 있는 데이터와 없는 데이터를 효과적으로 활용할 수 있는가?
• RQ2 원시 데이터나 라벨을 공유하지 않는 분산 환경에서 클라이언트 간 일관성을 어떻게 강제할 수 있는가?
• RQ3 파라미터 분해가 피어드 반감성 학습에서 지도학습과 비지도학습 간의 간섭을 줄이는 데 효과적인가?
• RQ4 FedMatch는 비-i.i.i.d. 및 i.i.d. 데이터 환경에서 단순한 피어드 학습과 반감성 학습의 조합보다 성능이 뛰어나게 되는가?
• RQ5 반감성 피어드 환경에서 파라미터 차이 전송을 통해 통신 효율성을 향상시킬 수 있는가?

주요 결과

• FedMatch는 라벨이 클라이언트에 있거나 서버에 있을 경우 모두 로컬 반감성 학습과 단순한 FL+SSL 조합보다 뚜렷이 뛰어난 성능을 보였다.
• CIFAR-10에서 20%의 라벨 데이터를 사용할 경우, 라벨이 클라이언트에 있는 설정에서 FedMatch는 92.1%의 테스트 정확도를 달성했으며, 기준 모델인 FedProx-UDA/FixMatch를 능가했다.
• 더 도전적인 라벨이 서버에만 있는 상황에서는, 20%의 라벨 데이터로도 FedMatch가 89.3%의 정확도를 달성하여 클라이언트가 라벨이 전혀 없는 상황에서도 효과적임을 입증했다.
• 라벨 데이터가 증가함에 따라 성능이 지속적으로 향상되었고, 기준 모델(FedProx-UDA/FixMatch 등)은 5개에서 10개로 라벨 수가 증가할수록 성능 저하를 보였다.
• 전체 모델 전송 없이 파라미터 차이만 전송함으로써 통신 비용을 줄였고, 이는 전체 모델 전송 없이도 효율적인 모델 업데이트를 가능하게 했다.
• 클라이언트 간 일관성 손실은 클라이언트 간 더 견고하고 일치하는 예측을 이끌어내어, 비-i.i.d. 데이터 환경에서의 일반화 성능을 향상시켰다.