[논문 리뷰] Federated Semi-Supervised Learning with Inter-Client Consistency.

Wonyong Jeong, Jaehong Yoon외 2명|arXiv (Cornell University)|2020. 06. 22.

Privacy-Preserving Technologies in Data참고 문헌 20인용 수 30

한 줄 요약

이 논문은 라벨이 제한된 피에르드 환경에서의 과제를 해결하기 위해 라벨된 데이터와 라벨되지 않은 데이터에 대한 파라미터 분해와 함께 상호 클라이언트 일致성 손실을 도입한 새로운 피에르드 준지도 학습 방법인 FedMatch를 제안한다. 이는 두 가지 다른 시나리오에서 국소 준지도 학습 및 단순 피에르드 준지도 학습 베이스라인보다 뛰어난 성능을 보인다.

ABSTRACT

While existing federated learning approaches mostly require that clients have fully-labeled data to train on, in realistic settings, data obtained at the client side often comes without any accompanying labels. Such deficiency of labels may result from either high labeling cost, or difficulty of annotation due to requirement of expert knowledge. Thus the private data at each client may be only partly labeled, or completely unlabeled with labeled data being available only at the server, which leads us to a new problem of Federated Semi-Supervised Learning (FSSL). In this work, we study this new problem of semi-supervised learning under federated learning framework, and propose a novel method to tackle it, which we refer to as Federated Matching (FedMatch). FedMatch improves upon naive federated semi-supervised learning approaches with a new inter-client consistency loss and decomposition of the parameters into parameters for labeled and unlabeled data. Through extensive experimental validation of our method in two different scenarios, we show that our method outperforms both local semi-supervised learning and baselines which naively combine federated learning with semi-supervised learning.

연구 동기 및 목표

• 클라이언트가 라벨이 제한되거나 전혀 없고, 라벨는 서버에서만 이용 가능한 현실적인 과제를 해결한다.
• 피에르드 준지도 학습(FedSSL)이라는 새로운 문제 설정을 제안한다. 이는 클라이언트가 부분적 또는 완전히 라벨되지 않은 데이터를 가짐을 의미한다.
• 라벨 부족 상황에서 클라이언트 간 일관성과 라벨된 데이터 및 라벨되지 않은 데이터에 대한 별도의 모델 파라미터 분리 기반으로 일반화 성능 향상을 도모하는 방법을 개발한다.
• 피에르드 학습과 준지도 학습 기법을 단순히 조합한 것뿐만 아니라 국소 준지도 학습 베이스라인과도 비교해 성능을 뛰어나게 한다.

제안 방법

• 다른 클라이언트들 간 동일한 라벨되지 않은 샘플에 대한 예측 간 일치를 장려하는 새로운 상호 클라이언트 일관성 손실을 제안한다.
• 라벨된 데이터와 라벨되지 않은 데이터에 대한 별도의 파라미터로 모델 파라미터를 분해하여 개별 최적화와 더 나은 일반화를 가능하게 한다.
• 라벨된 데이터에 대한 지도 학습 손실과 클라이언트 간 라벨되지 않은 데이터에 대한 일관성 정규화를 조합하여 모델을 훈련한다.
• 서버가 라벨된 데이터에 액세스할 수 있음을 활용하여 지식 정복 또는 공유된 감독 신호를 통해 클라이언트 모델을 안내한다.
• 예측을 동일한 샘플 간에 정렬하는 대비 학습 유사 메커니즘을 사용하여 강건성과 일관성을 향상시킨다.
• 통신 효율성과 모델 수렴성을 유지하기 위해 상호 클라이언트 일관성 손실을 피에르드 평균화 프레임워크에 통합한다.

실험 결과

연구 질문

• RQ1 클라이언트가 최소한의 라벨 또는 라벨이 전혀 없는 준지도 학습 환경으로 피에르드 학습을 효과적으로 확장할 수 있는 방법은 무엇인가?
• RQ2 라벨이 클라이언트 간 부족한 상황에서 상호 클라이언트 일관성은 모델 성능 향상에 어떤 역할을 하는가?
• RQ3 라벨된 데이터와 라벨되지 않은 데이터에 대한 파라미터 분해가 피에르드 준지도 학습에서 일반화 성능 향상에 기여하는가?
• RQ4 정확도와 강건성 측면에서 FedMatch는 국소 준지도 학습 및 단순 피에르드 준지도 학습 베이스라인과 어떻게 비교되는가?

주요 결과

• FedMatch는 클라이언트가 완전히 라벨되지 않은 경우와 부분적으로 라벨된 경우 양쪽 모두에서 국소 준지도 학습 방법보다 뛰어난 성능을 달성한다.
• 상호 클라이언트 일관성 손실은 공유된 라벨되지 않은 데이터에 대해 클라이언트 간 예측 분산을 줄여 모델 일반화 성능을 크게 향상시킨다.
• 라벨된 데이터와 라벨되지 않은 데이터에 대한 파라미터 분해는 라벨 가용성이 낮을수록 더 안정적이고 정확한 훈련을 가능하게 한다.
• 피에르드 학습과 준지도 학습 기법을 단순히 조합한 단순 베이스라인보다 FedMatch가 성능에서 뛰어나다.
• 이론적 실험 시나리오 두 가지 모두에서 일관된 성능 향상을 보이며, 이는 강건성과 일반화 능력의 타당성을 입증한다.
• 클라이언트 측의 라벨되지 않은 데이터와 함께 서버에서 제공하는 라벨을 활용함으로써 데이터 프라이버시를 해치지 않으면서 효과적인 지식 전이가 가능하다.