[논문 리뷰] Model-Agnostic Round-Optimal Federated Learning via Knowledge Transfer

Qinbin Li, Bingsheng He외 1명|arXiv (Cornell University)|2021. 05. 04.

Privacy-Preserving Technologies in Data인용 수 10

한 줄 요약

이 논문은 지식 희석을 통해 단일 라운드 통신으로도 구현 가능한 모델에 종속되지 않고 라운드 최적의 페더레이티드 러닝 알고리즘인 FedKT를 제안한다. 이는 비가환 모델의 효율적인 훈련을 가능하게 하며, 차별적 프라이버시를 지원하고 최소한의 통신 오버헤드로 최신 기술 수준의 정확도를 확보한다.

ABSTRACT

Federated learning enables multiple parties to collaboratively learn a model without exchanging their local data. Currently, federated averaging (FedAvg) is the most widely used federated learning algorithm. However, FedAvg or its variants have obvious shortcomings. It can only be used to learn differentiable models and needs many communication rounds to converge. In this paper, we propose a novel federated learning algorithm FedKT that needs only a single communication round (i.e., round-optimal). With applying the knowledge transfer approach, our algorithm can be applied to any classification model. Moreover, we develop the differentially private versions of FedKT and theoretically analyze the privacy loss. The experiments show that our method can achieve close or better accuracy compared with the other state-of-the-art federated learning algorithms.

연구 동기 및 목표

• FedAvg의 한계를 해결하기 위해, 많은 통신 라운드가 필요하고 가환 모델에 국한되는 문제를 해결하고자 한다.
• 모든 분류 모델, 특히 가환성 여부에 관계없이 적용 가능한 페더레이티드 러닝 프레임워크를 개발하고자 한다.
• 단일 통신 라운드 내에서 수렴하는 라운드 최적성 확보와 함께 높은 모델 정확도를 유지하고자 한다.
• 페더레이티드 러닝 과정에 차별적 프라이버시를 통합하고, 이론적 프라이버시 손실 분석을 제공하고자 한다.
• 지식 전이가 원시 현지 데이터를 공유하지 않고도 효과적인 모델 집계를 가능하게 함을 입증하고자 한다.

제안 방법

• 이 방법은 한 번의 라운드 내에서 현지 모델의 소프트 레이블 지식을 글로벌 모델로 전달하기 위해 지식 희석을 활용한다.
• 각 클라이언트는 자체 비공개 데이터로 현지 모델을 훈련하고, 예측 결과(소프트 레이블)를 글로벌 모델을 위한 지식으로 희석한다.
• 글로벌 모델은 모든 클라이언트로부터 온 지식을 통합하여 훈련하며, 모델 파라미터가 아닌 지식을 집계함으로써 모델에 종속되지 않는 훈련이 가능해진다.
• 지식(소프트 레이블)에 보정된 노이즈를 추가하여 지식 집계 전에 차별적 프라이버시 버전을 확장한다.
• 이론적 분석을 통해 차별적 프라이버시를 사용할 경우 프라이버시 손실의 경계를 도출하여 클라이언트 데이터의 기밀성이 보장됨을 입증한다.
• 지식 전이 메커니즘 덕분에 이 프레임워크는 비가환 모델을 포함한 모든 분류 모델과 호환 가능하다.

실험 결과

연구 질문

• RQ1 다양한 모델에서 고정확도를 유지하면서도 라운드 최적의 페더레이티드 러닝을 구현할 수 있는가?
• RQ2 지식 희석을 효과적으로 적용하여 파라미터 평균화의 대체로 활용할 수 있는가?
• RQ3 제안된 방법이 비가환 모델을 지원함으로써 FedAvg의 범위를 초월할 수 있는가?
• RQ4 제안된 방법의 차별적 프라이버시 변형의 이론적 프라이버시 손실은 얼마인가?
• RQ5 정확도 및 통신 효율성 측면에서 FedKT의 성능은 최신 기술 수준의 페더레이티드 러닝 알고리즘과 비교해 어떻게 되는가?

주요 결과

• FedKT는 단일 통신 라운드 내에서 수렴하여 FedAvg에 비해 훈련 시간과 통신 비용을 크게 줄였다.
• 이 방법은 단 한 번의 통신 라운드만으로도 최신 기술 수준의 페더레이티드 러닝 알고리즘과 비교해 유사하거나 뛰어난 정확도를 달성한다.
• 지식 희석을 통해 다양한 비가환 모델 간 효과적인 모델 집계가 가능하여, 이는 모델에 종속되지 않는 접근을 가능하게 한다.
• 차별적 프라이버시 변형은 경계가 명확한 프라이버시 손실을 제공하며, 클라이언트 데이터 기밀성을 보장하는 증명 가능한 프라이버시 보장을 제공한다.
• 실험 결과 FedKT는 다양한 벤치마크 데이터셋에서 높은 성능을 유지함을 확인하여 강건성과 일반화 능력을 입증한다.