[논문 리뷰] Federated Learning with Only Positive Labels

Felix X. Yu, Ankit Singh Rawat외 2명|arXiv (Cornell University)|2020. 04. 21.

Privacy-Preserving Technologies in Data참고 문헌 26인용 수 40

한 줄 요약

논문은 각 클라이언트가 양성 레이블만 가진 연합학습 프레임워크인 FedAwS를 소개하며, 서버에 spreadout 정규화를 적용하여 클래스 임베딩이 붕괴되는 것을 방지하고 음수 레이블이 있는 표준 설정에 근접한 성능을 달성합니다.

ABSTRACT

We consider learning a multi-class classification model in the federated setting, where each user has access to the positive data associated with only a single class. As a result, during each federated learning round, the users need to locally update the classifier without having access to the features and the model parameters for the negative classes. Thus, naively employing conventional decentralized learning such as the distributed SGD or Federated Averaging may lead to trivial or extremely poor classifiers. In particular, for the embedding based classifiers, all the class embeddings might collapse to a single point. To address this problem, we propose a generic framework for training with only positive labels, namely Federated Averaging with Spreadout (FedAwS), where the server imposes a geometric regularizer after each round to encourage classes to be spreadout in the embedding space. We show, both theoretically and empirically, that FedAwS can almost match the performance of conventional learning where users have access to negative labels. We further extend the proposed method to the settings with large output spaces.

연구 동기 및 목표

• 각 클라이언트가 한 클래스에 대한 양성 데이터만 갖는 연합 학습 설정에서 다중 클래스 분류기를 학습하도록 동기를 부여하고 이를 형식화한다.
• FedAwS를 제안한다, FedAvg 기반 프레임워크로 기하학적 spreadout 정규화를 사용하여 클래스 임베딩을 잘 분리되게 유지한다.
• 코사인 대비 손실과 대리 리스크 분석을 통해 FedAwS를 기존의 풀 레이블 학습과 이론적으로 연결한다.
• 대규모 출력 공간으로 FedAwS를 확장하고 표준 데이터셋에 대한 실증 검증을 제공한다.

제안 방법

• 입력을 g_theta를 통해 임베드하고 클래스 임베딩 행렬 W로 분류한다. 여기서 클래스 i의 임베딩은 w_i이다.
• 각 라운드에서 클라이언트는 양성 클래스 데이터와 양성 부분 손실 l_pos(예: l_cl^pos)만 사용하여 업데이트한다.
• 서버는 마진 nu를 가진 클래스 임베딩 간의 쌍별 분리를 촉진하도록 spreadout 정규화 reg_sp(W)을 적용한다.
• FedAwS는 연합 평균을 통해 theta를 업데이트하고 수집된 클라이언트 임베딩을 사용해 W를 업데이트한 후 reg_sp(W)에 대한 서버 측 기울기 업데이트를 수행한다.
• 확률적 음수 채굴 변형(reg_top_sp)은 큰 C 상황에서 spreadout 효과를 근사하기 위해 근접한 클래스 임베딩을 적응적으로 선택한다.
• 이론적 정당화는 FedAwS를 코사인 대비 손실과 연결하고 특정 조건에서 대리적 일관성 및 전체 레이블 경험 위험과의 거의 등가를 증명한다.

실험 결과

연구 질문

• RQ1 각 클라이언트가 단일 클래스에 대한 양성 데이터만 가진 경우 연합 학습 설정에서 효과적인 다중 클래스 학습이 달성될 수 있는가?
• RQ2 서버에서 spreadout 기하학적 정규화를 도입하면 임베딩 붕괴를 방지하고 전체 레이블 학습과 비교해 경쟁력 있는 성능을 가능하게 하는가?
• RQ3 FedAwS가 큰 출력 공간에서 어떻게 확장되며 극단적 다중 클래스 설정에서 확률적 음수 채굴이 도움이 되는가?
• RQ4 음수 레이블에 접근할 수 있는 전통적인 코사인/대조 손실과 FedAwS 목표 사이의 이론적 관계는 무엇인가?

주요 결과

• FedAwS는 클래스 임베딩의 붕괴를 방지하고 임베딩 기반 분류기에서 표준 풀 레이블 학습에 가까운 경쟁력 있는 정확도를 산출한다.
• spreadout 정규화는 음수가 사용 불가능할 때 학습의 안정성과 클래스 임베딩의 분리를 개선한다.
• 코사인 대비 손실은 오분류 오차의 대리손실로 확립되어 FedAwS 목표를 뒷받침한다.
• 데이터가 균형 잡힌 가정(n_i 같음)과 특정 lambda 하에서 FedAwS 목표는 음수 구성요소를 포함하는 대리 손실을 사용하는 경험적 위험과 정렬된다.
• CIFAR-10/100에 대한 실험 결과 FedAwS가 두 개의 기준선보다 우수하고 Precision@1에서 Softmax(오라클) 성능에 근접한다.