[논문 리뷰] Federated Learning with Positive and Unlabeled Data

Xinyang Lin, Hanting Chen외 5명|arXiv (Cornell University)|2021. 06. 21.

Privacy-Preserving Technologies in Data참고 문헌 10인용 수 5

한 줄 요약

이 논문은 클라이언트가 일부 클래스만 레이블링하는 조건에서, 여러 미지의 음성 클래스를 가진 양성 및 미레이블(Positive and Unlabeled, PU) 데이터를 위한 새로운 분산 학습 프레임워크인 FedPU를 제안한다. FedPU는 클라이언트 간 레이블링된 데이터를 활용하고, 여러 음성 클래스에 대한 기대 위험을 최소화함으로써 최신 기술 수준(SOTA) 성능을 달성하며, CIFAR-10에서 감독 및 준감독 기반 기준보다 최대 10.16% 높은 성능을 기록한다.

ABSTRACT

We study the problem of learning from positive and unlabeled (PU) data in the federated setting, where each client only labels a little part of their dataset due to the limitation of resources and time. Different from the settings in traditional PU learning where the negative class consists of a single class, the negative samples which cannot be identified by a client in the federated setting may come from multiple classes which are unknown to the client. Therefore, existing PU learning methods can be hardly applied in this situation. To address this problem, we propose a novel framework, namely Federated learning with Positive and Unlabeled data (FedPU), to minimize the expected risk of multiple negative classes by leveraging the labeled data in other clients. We theoretically analyze the generalization bound of the proposed FedPU. Empirical experiments show that the FedPU can achieve much better performance than conventional supervised and semi-supervised federated learning methods. Code is available at https://github.com/littleSunlxy/FedPU-torch

연구 동기 및 목표

• 자원과 시간 제약로 인해 클라이언트가 레이블링할 수 있는 클래스 수가 제한된 상황에서 분산 학습의 과제를 해결하기 위해.
• 기존 PU 학습 방법이 단일 음성 클래스를 가정하는 데서 비롯되는 한계를 극복하기 위해, 각 클라이언트가 여러 개의 미지 음성 클래스를 가진 환경에서의 적용을 위해.
• 모든 클래스에 대해 기대 위험을 최소화하기 위해, 미레이블 데이터와 클라이언트 간 레이블링된 데이터를 효과적으로 활용하는 분산 프레임워크를 개발하기 위해.
• 일반화 경계를 이론적으로 분석하고, 비독립(identically distributed, IID)이 아니며 레이블이 적은 데이터 환경에서의 성능 향상을 실증적으로 검증하기 위해.

제안 방법

• FedPU를 제안한다. 이는 클라이언트 간에 여러 개의 미지 음성 클래스로 간주될 수 있는 미레이블 데이터를 처리하는 분산 학습 프레임워크이다.
• 다른 클라이언트의 레이블링된 데이터와 동일 클라이언트의 미레이블 데이터를 사용하여, 여러 음성 클래스에 대한 기대 위험 최소화 문제를 수립한다.
• 알 수 없는 클래스 분포를 처리하기 위해 클래스 사전 확률 추정 기법을 도입하였으며, 다양한 사전 확률 추정치 하에서의 안정성도 검증하였다.
• 모델 평균화와 클라이언트 수준 최적화를 통해 로컬 모델을 학습하면서, 레이블이 있는 양성 샘플과 레이블이 없는(가능한 음성) 샘플에 대한 위험을 모두 최소화한다.
• 이론적 분석을 통해 FedPU는 완전한 감독 모델 성능의 $C\sqrt{C}$ 배 이내로 일반화됨을 보였다. 여기서 $C$는 클래스의 수이다.
• 재현 가능성을 확보하기 위해 공개된 GitHub 저장소에 PyTorch 기반으로 구현하였다.

실험 결과

연구 질문

• RQ1 클라이언트가 일부 클래스만 레이블링하고, 미레이블 데이터가 여러 개의 미지 음성 클래스에 속할 수 있는 조건에서, 분산 학습이 더 높은 성능을 달성할 수 있는가?
• RQ2 부분 레이블링 및 비독립 데이터 분포 조건에서, FedPU는 기존의 감독 및 준감독 기반 분산 학습 방법보다 어떻게 비교되는가?
• RQ3 클래스 사전 확률 추정치의 변화가 FedPU의 성능에 어떤 영향을 미치는가?
• RQ4 명시적인 레이블링 없이도, FedPU가 여러 음성 클래스에 대한 기대 위험을 효과적으로 최소화할 수 있는가?
• RQ5 실제 분산 환경에서 데이터 불균형과 비독립 데이터 분포에 대해 FedPU는 얼마나 강건한가?

주요 결과

• MNIST에서 양성 클래스의 1/3만 레이블링된 경우 FedPU는 94.46%의 정확도를 기록하였으며, 2/3로 증가시킬 경우 95.60%로 향상되었다.
• CIFAR-10에서 iid 데이터와 클라이언트당 2개의 양성 클래스 조건에서 FedPU는 76.71%의 정확도를 달성하였으며, 레이블링된 데이터만 사용한 FedAvg는 62.52%에 그쳤다.
• 비독립 데이터 분포 조건에서 클라이언트당 양성 클래스 수가 1~7개로 다양할 경우 FedPU는 75.41%의 정확도를 기록하였으며, Baseline-1보다 4.00% 높았다.
• 도전적인 비독립 데이터 분할 조건에서도 FedPU는 61.05%의 정확도를 기록하였으며, 베이스라인보다 8.66% 높았다.
• CIFAR-10에서 준감독 기반 분산 학습 방법 중에서 FedPU는 최신 기술 수준의 성능을 달성하였으며, FixMatch와 FedMatch를 모두 앞서갔다.
• 클래스 사전 확률 추정에 대해 강건한 성능을 보였으며, 알려진 사전 확률(π=0.1) 조건과 유사한 성능을 기록하였고, 추정된 사전 확률 조건에서도 성능 저하가 최소한이었다.