[논문 리뷰] Towards Utilizing Unlabeled Data in Federated Learning: A Survey and Prospective

Yilun Jin, Xiguang Wei외 2명|arXiv (Cornell University)|2020. 02. 26.

Privacy-Preserving Technologies in Data참고 문헌 59인용 수 58

한 줄 요약

이 논문은 연합 학습에서 비라벨 데이터의 활용을 조사하고, 향후 약한 감독(weakly supervised) FL 연구를 안내하기 위한 동기, 잠재 주제, 주요 도전과제를 개요합니다.

ABSTRACT

Federated Learning (FL) proposed in recent years has received significant attention from researchers in that it can bring separate data sources together and build machine learning models in a collaborative but private manner. Yet, in most applications of FL, such as keyboard prediction, labeling data requires virtually no additional efforts, which is not generally the case. In reality, acquiring large-scale labeled datasets can be extremely costly, which motivates research works that exploit unlabeled data to help build machine learning models. However, to the best of our knowledge, few existing works aim to utilize unlabeled data to enhance federated learning, which leaves a potentially promising research topic. In this paper, we identify the need to exploit unlabeled data in FL, and survey possible research fields that can contribute to the goal.

연구 동기 및 목표

• 비라벨 데이터가 연합 학습(FL)에서 왜 가치가 있는지, 그리고 가장 필요로 하는 위치를 식별합니다.
• FL에 적용 가능한 관련 약한 감독 학습 패러다임(전이 학습, 준지도 학습, 자기학습, 활성학습)을 검토합니다.
• 비라벨 데이터를 FL에 통합하기 위한 연구 방향, 시나리오 및 도전 과제를 제안합니다.
• 비iid 도메인 시프트 완화 및 FL 설정에서의 강건성 향상과 같은 이점을 논의합니다.

제안 방법

• 비라벨 데이터 기회를 구성하기 위해 FL 설정 및 참가자 유형을 분류합니다 (HFL, VFL, FTL);
• 기존의 약한 감독 학습 방법을 조사하고 이들이 FL 맥락에 어떻게 매핑되는지 살펴봅니다;
• FL에서 비라벨 데이터를 활용하는 동기와 이점, 예를 들면 도메인 불일치 완화 및 강건성 향상을 논의합니다;
• 향후 연구를 위한 잠재 주제들(전이, 준지도, 자기학습, 활성학습)과 관련 도전 과제를 개요합니다;
• 약한 감독 FL의 시나리오 및 응용에 대한 향후 의제(전망)를 제공합니다.

실험 결과

연구 질문

• RQ1 프라이버시 제약하에서 비라벨 데이터를 효과적으로 활용하여 연합 학습을 개선할 수 있는 방법은 무엇입니까?
• RQ2 FL에 가장 유망한 약한 감독 패러다임(전이, 준지도, 자기학습, 활성학습)은 무엇이며 어떤 도전과제가 있습니까?
• RQ3 어떤 FL 시나리오(cross-device vs cross-silo)에서 비라벨 데이터가 가장 유익하며, 그 이유는 무엇입니까?
• RQ4 FL에서 비라벨 데이터를 활용하기 위한 주요 연구 방향과 해결해야 할 문제는 무엇입니까?

주요 결과

• 비라벨 데이터는 FL에서 비iid 도메인 시프트를 해결하고 분포 이해를 향상시키는 데 도움이 될 수 있습니다.
• 약한 감독 방법(전이, 준지도, 자기학습, 활성학습)은 가능성이 있지만 FL에서 프라이버시, 도메인 불일치, 확장성 도전에 직면합니다.
• 크로스 디바이스 및 크로스 사이로 FL 맥Context는 비라벨 데이터 활용에 대해 서로 다른 기회와 난관을 제시합니다.
• 실제적인 연합 학습 데이터 세트와 평가 방법론이 필요합니다.
• 강건성 및 보안 고려사항(예: 적대적 공격 및 멤버십 추정)은 비라벨 데이터를 통한 정규화를 촉진합니다.
• 본 논문은 약한 감독 FL의 향후 연구를 안내하기 위한 구체적인 연구 주제와 도전과제를 제시합니다.