[논문 리뷰] Federated Learning from Only Unlabeled Data with Class-Conditional-Sharing Clients

N. Lu, Zhao Wang외 4명|arXiv (Cornell University)|2022. 04. 07.

Privacy-Preserving Technologies in Data인용 수 6

한 줄 요약

이 논문은 클라이언트 간의 클래스 사전 분포 변화를 활용하여 레이블이 없는 데이터만을 사용하여 지도 학습 분류기를 훈련할 수 있는 새로운 피어드 학습 프레임워크 FedUL을 제안한다. 클래스 조건부 공유를 통한 레이블 없는 데이터의 서브stituted 레이블링 및 고정된 전이층을 통한 투입을 통해 FedUL은 이론적으로 최적 모델로의 수렴을 보장하며, 벤치마크 및 실제 의료 영상 데이터셋에서 최신 기술 수준의 성능을 달성하여 기존의 비지도 피어드 학습 기반 방법들을 크게 능가한다.

ABSTRACT

Supervised federated learning (FL) enables multiple clients to share the trained model without sharing their labeled data. However, potential clients might even be reluctant to label their own data, which could limit the applicability of FL in practice. In this paper, we show the possibility of unsupervised FL whose model is still a classifier for predicting class labels, if the class-prior probabilities are shifted while the class-conditional distributions are shared among the unlabeled data owned by the clients. We propose federation of unsupervised learning (FedUL), where the unlabeled data are transformed into surrogate labeled data for each of the clients, a modified model is trained by supervised FL, and the wanted model is recovered from the modified model. FedUL is a very general solution to unsupervised FL: it is compatible with many supervised FL methods, and the recovery of the wanted model can be theoretically guaranteed as if the data have been labeled. Experiments on benchmark and real-world datasets demonstrate the effectiveness of FedUL. Code is available at https://github.com/lunanbit/FedUL.

연구 동기 및 목표

• 높은 레이블링 비용이나 개인정보 보호 제약으로 인해 클라이언트에서 레이블이 없는 데이터만 이용 가능한 상황에서 정확한 분류기를 훈련하는 데 도전하는 것.
• 기존의 지도 피어드 학습 방법과 호환되는 일반적인 솔루션을 개발하여 진정한 레이블 없이도 작동할 수 있도록 하는 것.
• 약한 분포 가정 하에 레이블이 없는 데이터로부터 최적의 글로벌 모델을 복원할 수 있도록 보장하는 것.
• 레이블링 비용이 높거나 제한되는 실제 의료 영상 데이터셋에서의 실증적 효과성을 입증하는 것.

제안 방법

• 각 클라이언트의 레이블이 없는 데이터를 각 데이터 세트의 인덱스를 서브stituted 레이블로 간주하여 서브stituted 레이블이 부여된 데이터로 변환한다.
• 모델 출력에 클라이언트별로 고정된 전이층을 도입하여 서브stituted 클래스 사후 확률을 진짜 클래스 사후 확률로 매핑한다.
• 클라이언트가 알고 있는 클래스 사전 확률을 사용하여 일대일 대응 전이 함수를 정의함으로써 복원 과정에서 모델의 충실도를 유지한다.
• 표준 지도 피어드 학습 알고리즘(예: FedAvg)을 서브stituted 작업에 적용하여 클라이언트 간 모델 집합을 가능하게 한다.
• 전이층의 역함수를 사용하여 서브stituted 모델로부터 최종 분류기를 복원함으로써 진짜 모델로의 이론적 수렴을 보장한다.
• 전이층을 고정하고 학습하지 않음으로써 추가적인 하이퍼파라미터 튜닝 없이 계산 효율성을 확보한다.

실험 결과

연구 질문

• RQ1 클라이언트에서 레이블이 없는 데이터만 존재할 때 피어드 학습에서 지도 분류기를 훈련할 수 있는가?
• RQ2 어떤 분포 가정 조건 하에 레이블이 없는 데이터로부터 최적의 글로벌 모델을 복원할 수 있는가?
• RQ3 FedUL은 레이블이 있는 데이터를 사용하는 지도 피어드 학습과 비슷한 성능을 달성하면서도 프라이버시를 보존할 수 있는가?
• RQ4 다양한 데이터 이질성 조건에서 기존의 비지도 피어드 학습 기반 방법들과 비교해 FedUL의 정확도와 내구성은 어떠한가?
• RQ5 FedUL은 의료와 같은 데이터 민감도가 높은 실제 도메인에 적용 가능하고 효과적인가?

주요 결과

• RSNA 뇌출혈 탐지 데이터셋에서 FedUL은 FedPL, FedLLP, FedLLP-VAT를 지속적으로 능가하며, 48개의 U 세트를 가진 병원 간 평균 정확도 31.55% (±0.58)를 기록하여 FedPL의 31.44%를 상회한다.
• CIFAR-100 데이터셋에서 FedUL은 동일한 설정 하에 테스트 정확도 31.48% (±2.25)를 달성하여 FedPL(31.44%)와 FedLLP(30.99%)를 뚜렷이 앞서간다.
• FedUL은 레이블이 있는 데이터의 10%만을 사용한 지도 피어드 학습 기반 방법(46.79% 정확도)과 비슷한 성능을 달성하여 높은 레이블 효율성을 보여준다.
• FedUL은 다양한 수의 레이블이 없는 데이터 세트(M=12, 24, 48)에서도 일관된 성능 향상을 보이며, 기존 기반 방법들에 비해 뛰어난 내구성을 입증한다.
• 이론적 분석을 통해 FedUL에서 복원된 모델이 알려진 클래스 사전 확률과 공유된 클래스 조건부 분포를 가정할 경우, 완전히 레이블이 부여된 데이터로 훈련된 최적 모델로의 수렴을 보장한다.
• 실제 의료 영상 데이터에 대한 실증 결과는 FedUL이 레이블링이 비용이 많이 들거나 제한되는 프라이버시 민감도가 높은 도메인에서 실용적으로 유의미함을 확인한다.