[논문 리뷰] A Communication Efficient Vertical Federated Learning Framework.

Yang Liu, Yan Kang외 6명|arXiv (Cornell University)|2019. 12. 24.

Privacy-Preserving Technologies in Data인용 수 59

한 줄 요약

이 논문은 수직联邦 학습(VFL)에서 통신 라운드 수를 줄이기 위해 확률적 블록 좌표 강하를 활용하는 통신 효율적인 프레임워크인 FedBCD를 제안한다. 배치 크기, 샘플 크기, 로컬 반복 수를 최적화함으로써 FedBCD는 O(√T)의 통신 라운드를 달성하며, O(1/√T)의 수렴 정확도를 확보하여 기업 간 AI 훈련에서 통신 오버헤드를 크게 감소시킨다.

ABSTRACT

One critical challenge for applying today's Artificial Intelligence (AI) technologies to real-world applications is the common existence of data silos across different organizations. Due to legal, privacy and other practical constraints, data from different organizations cannot be easily integrated. Federated learning (FL), especially the vertical FL (VFL), allows multiple parties having different sets of attributes about the same user collaboratively build models while preserving user privacy. However, communication overhead is a principal bottleneck since the existing VFL protocols require per-iteration communications among all parties. In this paper, we propose the Federated Stochastic Block Coordinate Descent (FedBCD) to effectively reduce the communication rounds for VFL. We show that when the batch size, sample size, and the local iterations are selected appropriately, the algorithm requires $\mathcal{O}(\sqrt{T})$ communication rounds to achieve $\mathcal{O}(1/\sqrt{T})$ accuracy. Finally, we demonstrate the performance of FedBCD on several models and datasets, and on a large-scale industrial platform for VFL.

연구 동기 및 목표

• 모든 당사자가 매 훈련 반복마다 통신해야 하는 수직联邦 학습(VFL)에서 높은 통신 오버헤드 문제를 해결하기 위해.
• 모델 정확도를 훼손하지 않으면서 VFL에서 통신 라운드 수를 줄이기 위해.
• 실제 데이터 실리콘 간 조직 간의 확장 가능하고 개인정보 보호 기능을 갖춘 훈련 프레임워크를 설계하기 위해.
• 실제 데이터셋과 산업 규모 플랫폼에서 이론적 통신 효율성 향상 효과를 검증하기 위해.

제안 방법

• 수직 VFL에 특화된 새로운 최적화 프레임워크인 연합 확률적 블록 좌표 강하(FedBCD)를 제안한다.
• 매 라운드마다 모델 파라미터의 일부만 업데이트하는 블록 좌표 강하 업데이트 방식을 도입하여, 각 반복의 통신량을 감소시킨다.
• 수렴 속도와 통신 비용을 균형 잡기 위해 적응형 배치 및 로컬 반복 스케줄링을 적용한다.
• 최적 하이퍼파ram터 설정 하에서 O(√T)의 통신 라운드로 O(1/√T)의 정확도를 달성할 수 있음을 보여주는 이론적 수렴 한계를 유도한다.
• 다양한 모델과 데이터셋에 적용하여 대규모 산업용 구현 사례도 포함한다.
• 사용자 개인정보 보호를 위해 교차 당사자 간 통신 중 암호화 기법과 안전한 집계 기법을 활용한다.

실험 결과

연구 질문

• RQ1 표준 O(T) 스케일링을 초과하는 통신 라운드 수를 유지하면서도 수렴 정확도를 훼손하지 않고 수직联邦 학습에서 통신 라운드를 줄일 수 있는가?
• RQ2 배치 크기, 샘플 크기, 로컬 반복 수 등의 하이퍼파ram터 설정 중 어떤 조합이 VFL에서 통신-정확도 트레이드오프를 최적화하는가?
• RQ3 제안된 FedBCD 프레임워크는 데이터 실리콘 간 효율적인 모델 훈련을 가능하게 하면서도 개인정보를 보호할 수 있는가?
• RQ4 FedBCD는 실세계 데이터셋과 산업 규모 플랫폼에서 실제로 어떻게 성능을 내는가?
• RQ5 이론적 통신 복잡도 한계가 실세계 VFL 구현에서 달성 가능한가?

주요 결과

• FedBCD는 O(√T)의 통신 라운드로 O(1/√T)의 수렴 정확도를 달성하여 기존 VFL 대비 효율성을 크게 향상시켰다.
• 배치 크기, 샘플 크기, 로컬 반복 수의 최적 선택이 실질적으로 이론적 통신 복잡도를 달성하는 데 기여한다.
• 다양한 모델과 데이터셋, 복잡한 산업 규모 응용 사례에서도 강력한 모델 성능 유지를 보였다.
• 실증 결과는 FedBCD가 기준 VFL 방법 대비 통신 효율성을 뛰어나게 하면서도 모델 정확도를 유지함을 확인했다.
• 대규모 산업 플랫폼에서 효과적으로 확장되어 조직 간 AI 훈련에 실용적 적용 가능성을 입증했다.