[논문 리뷰] A Survey towards Federated Semi-supervised Learning.

Yilun Jin, Xiguang Wei외 2명|arXiv (Cornell University)|2020. 02. 26.

Privacy-Preserving Technologies in Data참고 문헌 15인용 수 20

한 줄 요약

이 논문은 분산된 클라이언트 간의 비라벨 데이터를 활용하여 연합 학습에서 레이블링 비용을 줄이기 위해 연합 준지도 학습(Federated Semi-Supervised Learning, FSSL)을 조사한다. 기존 연합 학습 연구에서의 격차를 밝히고, 준지도 학습 기법을 연합 학습에 통합할 것을 제안하며, 라벨이 제한된 데이터로도 모델 성능을 향상시키면서도 데이터 프라이버시를 유지할 수 있는 핵심 연구 분야를 제시한다.

ABSTRACT

Federated Learning (FL) proposed in recent years has received significant attention from researchers in that it can bring separate data sources together and build machine learning models in a collaborative but private manner. Yet, in most applications of FL, such as keyboard prediction, labeling data requires virtually no additional efforts, which is not generally the case. In reality, acquiring large-scale labeled datasets can be extremely costly, which motivates research works that exploit unlabeled data to help build machine learning models. However, to the best of our knowledge, few existing works aim to utilize unlabeled data to enhance federated learning, which leaves a potentially promising research topic. In this paper, we identify the need to exploit unlabeled data in FL, and survey possible research fields that can contribute to the goal.

연구 동기 및 목표

• 대규모 데이터셋의 레이블링 비용을 줄이기 위해 비라벨 데이터의 활용을 탐색함으로써 연합 학습에서의 고비용 레이블링 문제를 해결하고자 한다.
• 연합 환경에서 준지도 학습에 대한 기존 연구의 부족함이 핵심 격차로 존재함을 규명하고자 한다.
• 비라벨 데이터를 활용하여 연합 학습을 향상시킬 수 있는 잠재적 연구 분야와 기법들을 조사하고자 한다.
• 더 나은 효율성과 프라이버시 보장을 위해 준지도 학습을 연합 학습에 통합하기 위한 프레임워크를 제안하고자 한다.

제안 방법

• 기존 연합 학습 프레임워크를 조사하고 비라벨 데이터 처리에 대한 한계를 규명한다.
• 일致성 정규화, 가짜 라벨링, 평균 교사 모델 등 준지도 학습 기법들이 연합 학습에 적용 가능한지 분석한다.
• 클라이언트들이 라벨이 있는 데이터와 비라벨 데이터를 모두 활용하여 글로벌 모델 성능을 향상시키는 공동 학습 패러다임을 제안한다.
• 클라이언트의 모델이 비라벨 데이터에 대해 가짜 라벨을 생성하고 이를 통해 글로벌 업데이트를 정교화하는 자기학습 메커니즘을 연합 학습에 통합한다.
• 통신 효율성과 일반화 성능 향상을 위해 데이터 증강 및 클러스터링 전략을 라벨이 적은 데이터 기반의 연합 학습 환경에 적응시킨다.
• 통신 및 프라이버시 제약 조건 하에서 SSL과 FL을 결합하는 것이 가능한지 평가한다.

실험 결과

연구 질문

• RQ1 비라벨 데이터는 어떻게 연합 학습에서 효과적으로 활용될 수 있으며, 이로써 고비용 레이블링에 대한 의존도를 줄일 수 있는가?
• RQ2 분산형이고 프라이버시를 보장하는 학습 환경에서 연합 학습에 가장 적합한 준지도 학습 기법은 무엇인가?
• RQ3 라벨이 소수만 있는 경우에 모델의 일반화 성능은 어떻게 향상시킬 수 있는가?
• RQ4 준지도 학습을 연합 학습 아키텍처에 통합할 때의 주요 과제는 무엇인가?
• RQ5 수렴성과 프라이버시를 확보하기 위해 필요한 아키텍처 및 학습 수정 사항은 무엇인가?

주요 결과

• 논문은 비라벨 데이터를 연합 학습 내에서 효과적으로 활용할 수 있는 잠재력이 있음에도 불구하고, 이에 대한 연구 격차가 심각하게 존재함을 규명한다.
• 가짜 라벨링 및 일치성 정규화와 같은 준지도 학습 기법은 연합 학습 프레임워크에 통합하기 위한 유망한 후보로 나타난다.
• 연합 준지도 학습은 라벨이 제한된 데이터로도 정확도를 향상시키면서도 데이터 프라이버시를 유지할 수 있다.
• SSL을 FL에 통합하기 위해서는 비독립 동일분포(non-IID) 데이터와 통신 효율성 문제를 신중히 고려한 설계가 필요하다.
• 기존의 SSL 방법들은 분산된 데이터와 제한된 클라이언트 업데이트 조건을 감안해 적응이 필요하다.
• 본 조사에서는 향후 연구가 강건하고 통신 효율적이며 프라이버시를 보장하는 FSSL 프레임워크 개발에 집중해야 한다고 강조한다.