[논문 리뷰] Federated Distillation: A Survey

Li Lin, Jianping Gou외 3명|arXiv (Cornell University)|2024. 04. 02.

Privacy-Preserving Technologies in Data인용 수 5

한 줄 요약

이 설문은 Federated Distillation (FD)를 다루며, 지식 증류가 소프트 라벨을 모델 매개변수 대신 교환함으로써 FL에서의 유연하고 통신-효율적인 협업을 가능하게 하는 방법을 상세히 설명하고, 도전과제, 체계 및 응용 분야를 조사합니다.

ABSTRACT

Federated Learning (FL) seeks to train a model collaboratively without sharing private training data from individual clients. Despite its promise, FL encounters challenges such as high communication costs for large-scale models and the necessity for uniform model architectures across all clients and the server. These challenges severely restrict the practical applications of FL. To address these limitations, the integration of knowledge distillation (KD) into FL has been proposed, forming what is known as Federated Distillation (FD). FD enables more flexible knowledge transfer between clients and the server, surpassing the mere sharing of model parameters. By eliminating the need for identical model architectures across clients and the server, FD mitigates the communication costs associated with training large-scale models. This paper aims to offer a comprehensive overview of FD, highlighting its latest advancements. It delves into the fundamental principles underlying the design of FD frameworks, delineates FD approaches for tackling various challenges, and provides insights into the diverse applications of FD across different scenarios.

연구 동기 및 목표

• FD 개념과 데이터/모델 이질성 및 통신비용과 같은 FL의 챌린지를 어떻게 해결하는지 설명한다.
• FD의 구성, 아키텍처, 그리고 소프트-라벨 지식 전달의 역할을 요약한다.
• FD 스킴(데이터/공개 데이터/합성 데이터, 이질성 완화, 프라이버시 고려사항) 및 다양한 도메인에 걸친 실용적 응용을 조사한다.

제안 방법

• 공개 데이터세트에 대해 모델 매개변수 대신 소프트 라벨을 공유하는 FD 프레임워크를 제시한다.
• 주요 FD 워크플로우를 설명한다: 공개 데이터에서의 증류, 소프트 라벨의 서버 집계, 클라이언트 증류 및 로컬 미세조정.
• 데이터 가용성(공개, 합성)과 이질성 문제(데이터, 시스템, 모델)에 따라 FD 스킴을 분류한다.
• FD 맥락에서 지식 증류의 범주(라벨, 피처, 매개변수, 관계)를 논의한다.
• 매개변수 기반 FL에 비해 FD의 장점, 예를 들어 감소된 통신과 잠재적 프라이버시 이점을 강조한다.

실험 결과

연구 질문

• RQ1 Federated Distillation (FD)가 FL에서 통신 비용과 아키텍처 이질성을 어떻게 다루는가?
• RQ2 데이터 이질성을 다루기 위한 주요 FD 스킴은 무엇이며, 공개 데이터나 합성 데이터가 FD 성능에 어떤 영향을 미치는가?
• RQ3 지식 유형과 스킴 디자인에 따라 FD 접근법은 어떻게 분류되며, 실제 응용과 한계는 무엇인가?
• RQ4 향후 연구에서 FD의 주요 미해결 과제와 방향은 무엇인가?
• RQ5 무선 통신, 보안, 감시, 분류 등과 같은 분야에서 FD가 어떻게 적용되어 왔는가?

주요 결과

• FD는 매개변수 교환을 소프트 라벨 증류로 대체하여 통신 오버헤드를 줄인다.
• FD는 공개 데이터나 합성 데이터에서 지식을 증류함으로써 이질적인 클라이언트-서버 아키텍처를 가능하게 한다.
• 공개 데이터 및 합성 데이터 FD 스킴은 데이터 이질성과 비IID 설정을 완화하는 데 도움이 된다.
• 여러 FD 전략(선별-FD, 상호 증류, 데이터-없는 FD)이 프라이버시 및 강건성 문제를 다룬다.
• FD는 무선 통신, 키워드 스팟팅, 인물 재식별, 침입 탐지와 같은 도메인에 적용되어 왔다.
• 데이터 이질성은 여전히 중심 과제로 남아 있으며, 보조 데이터, 데이터 생성 및 증류 기술을 활용한 지속적 전략이 이어지고 있다.