[논문 리뷰] Robust Training of Federated Models with Extremely Label Deficiency
Twin-sight는 극심한 레이블 부족 하에서 시작점-gradient 충돌을 완화하기 위해 이웃 보존 제약이 있는 쌍의 모델(감독 및 비감독) 파라다임을 도입하여 여러 데이터셋에서 최첨단 결과를 달성합니다.
Federated semi-supervised learning (FSSL) has emerged as a powerful paradigm for collaboratively training machine learning models using distributed data with label deficiency. Advanced FSSL methods predominantly focus on training a single model on each client. However, this approach could lead to a discrepancy between the objective functions of labeled and unlabeled data, resulting in gradient conflicts. To alleviate gradient conflict, we propose a novel twin-model paradigm, called Twin-sight, designed to enhance mutual guidance by providing insights from different perspectives of labeled and unlabeled data. In particular, Twin-sight concurrently trains a supervised model with a supervised objective function while training an unsupervised model using an unsupervised objective function. To enhance the synergy between these two models, Twin-sight introduces a neighbourhood-preserving constraint, which encourages the preservation of the neighbourhood relationship among data features extracted by both models. Our comprehensive experiments on four benchmark datasets provide substantial evidence that Twin-sight can significantly outperform state-of-the-art methods across various experimental settings, demonstrating the efficacy of the proposed Twin-sight.
연구 동기 및 목표
- 레이블이 있는 연합 클라이언트와 레이블이 없는 클라이언트에서의 서로 다른 목적에 의해 발생하는 그래디언트 충돌을 해결한다.
- 감독 학습과 비감독 학습을 분리하는 쌍 모델 프레임워크를 제안하여 그래디언트 드리프트를 줄인다.
- 두 모델 간 표현을 정렬하기 위해 이웃 보존 상호 작용 손실을 도입한다.
- 심각한 비 IID 환경에서 표준 벤치마크에 대해 기존 FSSL 방법보다 더 우수한 성능을 시연한다.]
- method':['연합 데이터에서 학습된 감독 모델(w_s)과 비감독 모델(w_u)로 구성된 쌍-모델 패러다임을 형성한다.','클라이언트 간 공통적인 비감독 인스턴스 구분 목표(J^u)를 비감독 모델에 사용한다.','레이블 데이터는 교차 엔트로피를 통해(또는 레이블이 없는 클라이언트에서의 신뢰 높은 의사레이블 대체 J_t^s로) 감독 모델을 학습한다.','두 모델이 생성하는 특징 간 이웃 관계를 보존하기 위한 Twin-sight 손실 J_a를 도입하여 표현을 정렬한다.','레이블 데이터에 대한 합성 목표 J^l = J_m(w_s) + λ_u J^u(w_u) + λ_d J_a(w_s,w_u)와 비레이블 데이터에 대한 J^u = J_t^s(w_s) + λ_u J^u(w_u) + λ_d J_a(w_s,w_u)를 정의한다.','이 쌍-모델 목표를 가진 FedAvg 스타일의 연합 최적화를 채택하고 표준 데이터 세트에서 실험을 수행한다.']
- research_questions':['극심한 레이블 부족 상황에서 연합 반감독 학습에서 감독 및 비감독 목표 사이의 그래디언트 충돌을 완화하는 쌍-모델 접근 방식이 효과적인가?','두 모델 간 이웃 보존형 상호 작용이 다양한 데이터셋 및 비 IID 설정에서 상호 가이드를 개선하고 전체 성능을 향상시키는가?',' Twin-sight는 완전한 라벨링, 완전 비레이블링 및 부분적으로 라벨링된 연합 시나리오에서 기존 SOTA 방법과 어떻게 비교되는가?','Twin-sight 상호 작용 가중치 λ_d와 비감독 목표 강도 λ_u가 성능 및 수렴에 미치는 영향은 무엇인가?']
- key_findings':['Twin-sight는 심각한 비 IID 설정에서 CIFAR-10, CIFAR-100, SVHN 및 FMNIST에 대해 SOTA 기준선을 능가한다( γ=0.1, K=10 ).','CIFAR-10에서 Twin-sight는 115 라운드에서 70.06% 정확도를 달성하며 경쟁 방법을 능가한다.','CIFAR-100에서 Twin-sight는 400 라운드에서 49.98% 정확도를 달성하며 경쟁 방법을 능가한다.','SVHN 및 FMNIST에서 Twin-sight는 각각 125 및 140 라운드에서 62.94% 및 79.95% 정확도를 달성하며 여러 베이스라인을 능가한다.','부분적으로 라벨링된 시나리오에서 Twin-sight는 CIFAR-10, CIFAR-100, SVHN 및 FMNIST 전반에서 눈에 띄는 개선을 보여주며 특히 레이블 데이터가 부족할 때 Ferrero(예시)와 함께 견고한 이득을 시연한다.']
- table_headers':['Method','No. Fully-labeled Clients/Fully-unlabeled Clients','CIFAR-10 Acc','Round','CIFAR-100 Acc','Round'],
- table_rows:[[
더 나은 연구,지금 바로 시작하세요
연구 설계부터 논문 작성까지, 연구 시간을 획기적으로 줄여보세요.
카드 등록 없음 · 무료 플랜 제공
이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.