[논문 리뷰] Federated Learning without Full Labels: A Survey

Yilun Jin, Yang Liu외 2명|arXiv (Cornell University)|2023. 03. 25.

Privacy-Preserving Technologies in Data인용 수 6

한 줄 요약

이 서베이는 라벨이 완전하지 않은 피어드 러닝(FL)을 탐구하며, 참가자가 제한된 또는 라벨이 없는 데이터를 보유할 경우, 준감독 학습, 자기지도 학습, 이식 학습을 통합하여 비라벨 데이터를 활용하면서도 프라이버시를 유지하는 방법을 제시한다. 데이터 격리, 프라이버시 泄露, 데이터 이질성 등의 핵심 과제를 밝히며, 프라이버시, 해석 가능성, 공정성, 도메인 일반화 분야의 향후 방향을 제시한다.

ABSTRACT

Data privacy has become an increasingly important concern in real-world big data applications such as machine learning. To address the problem, federated learning (FL) has been a promising solution to building effective machine learning models from decentralized and private data. Existing federated learning algorithms mainly tackle the supervised learning problem, where data are assumed to be fully labeled. However, in practice, fully labeled data is often hard to obtain, as the participants may not have sufficient domain expertise, or they lack the motivation and tools to label data. Therefore, the problem of federated learning without full labels is important in real-world FL applications. In this paper, we discuss how the problem can be solved with machine learning techniques that leverage unlabeled data. We present a survey of methods that combine FL with semi-supervised learning, self-supervised learning, and transfer learning methods. We also summarize the datasets used to evaluate FL methods without full labels. Finally, we highlight future directions in the context of FL without full labels.

연구 동기 및 목표

• 높은 라벨링 비용이나 도메인 전문 지식 제약으로 인해 참가자가 종종 완전한 라벨를 보유하지 못하는 피어드 러닝의 격차를 보완하기 위해.
• 라벨이 제한된 데이터를 효과적으로 활용하기 위해 FL과 준감독 학습, 자기지도 학습, 이식 학습을 융합한 기법을 조사하기 위해.
• 고립된 라벨/비라벨 데이터, 라벨 교환 과정에서의 프라이버시 리스크, 완전한 라벨가 없는 FL에서의 데이터 이질성 등의 과제를 분석하기 위해.
• 라벨이 제한된 상황에서 프라이버시, 해석 가능성, 공정성, 그리고 미관측 도메인으로의 일반화 문제를 규명하기 위해.
• 자동 피어드 러닝, 도메인 일반화, 라벨 부족 상황에서의 강건성 등 주요 연구 방향을 제시함으로써 향후 연구를 이끌기 위해.

제안 방법

• 제한된 라벨 데이터와 풍부한 비라벨 데이터를 활용해 모델 정확도를 향상시키기 위해 준감독 학습을 통합한다.
• 비라벨 데이터에서 표현을 사전 학습하고, 이후 최소한의 라벨 데이터로 피어드 러닝에서 미세조정하는 자기지도 학습을 적용한다.
• 데이터가 풍부한 소스 도메인에서의 모델을 데이터가 부족한 타겟 도메인으로 이식하여 피어드 러닝 환경에서 적응시킨다.
• 데이터 공유 없이도 라벨이 있는 클라이언트와 없는 클라이언트 간 지식을 연결하기 위해 지식 정렬 및 대비 학습 기법을 제안한다.
• 특징를 의미 있는 구성요소로 구조화함으로써 모델의 해석 가능성을 향상시키기 위해 비밀분리 표현 학습을 사용한다.
• 라벨 노출을 최소화하고 비라벨 데이터를 활용해 라벨 데이터 교환 의존도를 낮춤으로써 프라이버시 리스크를 완화한다.

실험 결과

연구 질문

• RQ1 클라이언트 간에 라벨 데이터가 부족하거나 존재하지 않을 경우, 피어드 러닝이 어떻게 비라벨 데이터를 효과적으로 활용할 수 있는가?
• RQ2 분산 환경에서 FL과 준감독 학습, 자기지도 학습, 이식 학습을 융합할 때의 핵심 과제는 무엇인가?
• RQ3 라벨 데이터가 제한되고 반복적으로 접근될 경우, 어떻게 프라이버시를 유지할 수 있는가?
• RQ4 비밀분리 표현 학습이 이질적인 비라벨 데이터를 기반으로 한 피어드 모델의 해석 가능성 향상에 기여할 수 있는가?
• RQ5 테스트 시점에 타겟 도메인에서 라벨 데이터가 전혀 없을 경우, 어떻게 완전히 새로운 도메인으로 일반화할 수 있는가?

주요 결과

• 라벨 데이터가 부족한 상황에서 비라벨 데이터는 자기지도 학습 또는 준감독 학습 사전 학습과 결합될 경우 모델 성능을 크게 향상시킨다.
• 클라이언트가 라벨가 없는 데이터만 보유하는 데이터 격리 상황은 라벨 지식의 상실로 인해 성능 저하를 초래할 수 있으며, 이를 보완하기 위해 지식 정렬 또는 대비 학습이 필요하다.
• 라벨 데이터에 대한 반복적 접근은 기울기 역전 공격 등 프라이버시 리스크를 증가시키므로, 비라벨 데이터 활용은 지식 집합 과정에서 더 안전한 대안이 된다.
• 비라벨 데이터를 활용하면 PATE와 같이 차별적 프라이버시에서 더 강력한 프라이버시 경계를 확보할 수 있으며, 이는 프라이버시와 정확도를 동시에 향상시킨다.
• 비라벨 데이터에서 비밀분리 표현 학습은 모델의 해석 가능성을 향상시키지만, 이질적인 데이터 분포 간의 안정성 확보는 여전히 과제이다.
• 타겟 도메인에서 라벨 데이터가 전혀 없을 경우, 피어드 러닝 모델의 일반화 능력 향상은 여전히 어려운 과제이며, 이는 라벨 부족 상황에서의 피어드 도메인 일반화 필요성을 강조한다.