[논문 리뷰] Practical One-Shot Federated Learning for Cross-Silo Setting

Qinbin Li, Bingsheng He외 1명|arXiv (Cornell University)|2020. 10. 02.

Privacy-Preserving Technologies in Data참고 문헌 28인용 수 7

한 줄 요약

이 논문은 크로스실(fedkt) 설정에서 실용적인 일회성(fedkt) 페더레이티드 러닝 알고리즘을 제안한다. 이 알고리즘은 공개된 비라벨 데이터로부터 지식 전달을 통해 단일 커뮤니케이션 라운드 내에 어떤 분류 모델도 훈련시킬 수 있도록 한다. FedKT는 기존의 FedDF와 비교해 최대 6.5% 높은 정확도를 달성하며, 정확도 손실이 최소한인 예외 수준 및 당사자 수준의 차별적 프라이버시를 지원하여 실제 모델 마켓에 적합하다.

ABSTRACT

Federated learning enables multiple parties to collaboratively learn a model without exchanging their data. While most existing federated learning algorithms need many rounds to converge, one-shot federated learning (i.e., federated learning with a single communication round) is a promising approach to make federated learning applicable in cross-silo setting in practice. However, existing one-shot algorithms only support specific models and do not provide any privacy guarantees, which significantly limit the applications in practice. In this paper, we propose a practical one-shot federated learning algorithm named FedKT. By utilizing the knowledge transfer technique, FedKT can be applied to any classification models and can flexibly achieve differential privacy guarantees. Our experiments on various tasks show that FedKT can significantly outperform the other state-of-the-art federated learning algorithms with a single communication round.

연구 동기 및 목표

• 모델 마켓과 같은 크로스실 설정에서 참여자가 반복적인 협업에 대한 약속을 이행할 수 없는 바람에 다중 라운드 페더레이티드 러닝이 비현실적이라는 문제를 해결한다.
• 특정 모델 아키텍처(예: SVM 또는 MLP)에 국한되며 프라이버시 보장이 없는 기존의 일회성 페더레이티드 러닝 방법의 한계를 극복한다.
• 실제 배포 환경에서 다양한 분류 모델에 적용 가능한 일반 목적의 프라이버시 보장 일회성 페더레이티드 러닝 프레임워크를 개발한다.
• 예외 수준 및 당사자 수준의 프라이버시 보장을 보장하기 위해 차별적 프라이버시를 통한 지식 전달을 통해 강력한 프라이버시 보호를 확보한다.

제안 방법

• 공개된 비라벨 데이터를 활용해 여러 개의 사전 훈련된 사전 모델(교사 모델)에서 유도된 지식을 기반으로 학생 모델을 훈련시키는 이중 계층 지식 전달 프레임워크를 활용한다.
• 참여 당사자의 비공개 데이터에서 훈련된 사전 모델과 공개 데이터에서 온 지식을 기반으로 글로벌 학생 모델을 지식 전달을 통해 훈련시킨다.
• 지식 전달 과정에 차별적 프라이버시를 도입하여, 디스틸레이션 중 모델 출력에 보정된 노이즈를 추가함으로써 예외 수준 및 당사자 수준의 프라이버시 보장을 확보한다.
• 모델 특화 최적화에서 분리된 지식 전달을 통해 신경망, 결정 트리 등 어떤 분류 모델(예: 신경망, 의사결정 트리)이라도 지원한다.
• 조절 가능한 노이즈 스케일(γ)과 쿼리 레이트를 통해 프라이버시 예산 제어를 가능하게 하여 프라이버시와 정확도 사이의 트레이드오프를 조정할 수 있다.
• FedProx와 같은 반복 알고리즘의 강력한 초기화로 다중 라운드 확장이 가능하며, 커뮤니케이션 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 특정 아키텍처(예: MLP 또는 SVM)에 국한되지 않고, 어떤 분류 모델에도 적용 가능한 일회성 페더레이티드 러닝 알고리즘을 설계할 수 있는가?
• RQ2 개별 데이터 예측 및 전체 클라이언트 기여를 보호하기 위해 차별적 프라이버시를 효과적으로 일회성 페더레이티드 러닝 프레임워크에 통합할 수 있는가?
• RQ3 다양한 프라이버시 예산과 공개 데이터셋 크기에서 제안된 방법의 정확도 및 프라이버시 트레이드오프는 어떠한가?
• RQ4 FedKT는 반복적 페더레이티드 러닝의 효과적인 초기화로 기능할 수 있는가? 이를 통해 수렴에 필요한 커뮤니케이션 라운드 수를 줄일 수 있는가?
• RQ5 특히 저자료 환경에서 공개 비라벨 데이터셋 크기가 감소할 경우 FedKT의 성능은 얼마나 안정적인가?

주요 결과

• FedKT는 최신 기술의 일회성 방법보다 유의미하게 높은 테스트 정확도를 달성한다: MNIST에서 FedDF보다 최대 6.5% 높고, PNFM보다 25% 높으며, 단일 커뮤니케이션 라운드 내에서 성능을 확보한다.
• Adult 데이터셋에서 FedKT-L1은 ε = 2.59 및 δ = 10⁻⁵ 조건에서 77.6%의 정확도를 기록했으며, 비프라이버시 기준선(82.4%)에 근접한다.
• 공개 데이터셋의 20%만으로도 FedKT는 높은 성능을 유지한다: cod-rna에서는 정확도가 1% 미만으로 감소하고, MNIST에서는 2% 이내로 감소하여 소규모 공개 데이터에 대한 강건성을 입증한다.
• 차별적 프라이버시 버전인 FedKT-L1/L2는 보통의 프라이버시 예산(ε < 10)에서 비프라이버시 버전과 유사한 정확도를 달성하며, 정확도 저하가 미미하다.
• FedKT-Prox를 통해 다중 라운드로 확장한 결과, 11라운드 내에 87% 정확도로 수렴했으며, 다른 방법들이 최소 32라운드가 필요로 하는 것과 비교해 뛰어난 성능을 보였다.
• FedKT는 임의의 분류 모델을 지원하고 예외 수준 및 당사자 수준에서 공식적인 프라이버시 보장을 제공하는 최초의 일회성 페더레이티드 러닝 프레임워크이다.