[논문 리뷰] Partitioned Variational Inference: A Framework for Probabilistic Federated Learning

Matthew Ashman, Thang D. Bui외 5명|arXiv (Cornell University)|2022. 02. 24.

Privacy-Preserving Technologies in Data인용 수 6

한 줄 요약

이 논문은 데이터 프라이버시를 유지하면서도 확률적 모델링을 가능하게 하는 새로운 프레임워크인 분할 변분 추론(Partitioned Variational Inference, PVI)을 소개한다. PVI는 국지적 및 글로벌 변분 추론 방법을 통합하고, 수렴 보장을 갖춘 분산 최적화를 지원하며, 이진 분류, 사망 예측, 이미지 인식 작업에서 이질적인 데이터 분할 상황에서도 뛰어난 성능을 보인다.

ABSTRACT

The proliferation of computing devices has brought about an opportunity to deploy machine learning models on new problem domains using previously inaccessible data. Traditional algorithms for training such models often require data to be stored on a single machine with compute performed by a single node, making them unsuitable for decentralised training on multiple devices. This deficiency has motivated the development of federated learning algorithms, which allow multiple data owners to train collaboratively and use a shared model whilst keeping local data private. However, many of these algorithms focus on obtaining point estimates of model parameters, rather than probabilistic estimates capable of capturing model uncertainty, which is essential in many applications. Variational inference (VI) has become the method of choice for fitting many modern probabilistic models. In this paper we introduce partitioned variational inference (PVI), a general framework for performing VI in the federated setting. We develop new supporting theory for PVI, demonstrating a number of properties that make it an attractive choice for practitioners; use PVI to unify a wealth of fragmented, yet related literature; and provide empirical results that showcase the effectiveness of PVI in a variety of federated settings.

연구 동기 및 목표

• 모델 불확실성을 캡처하면서도 데이터 프라이버시를 유지할 수 있는 피드어워드 학습에서의 확률적 추론 방법의 부족을 해결한다.
• 중앙 집중식 데이터 접근이 필요하고 탈중앙화된, 이질적인 데이터에 적용 불가능한 전통적 변분 추론의 한계를 극복한다.
• 피드어워드 환경에서 국지적, 글로벌, 온라인 변분 추론에 대한 분산된 문헌을 하나의 일관된 이론적 프레임워크로 통합한다.
• 수렴 성질을 갖춘 원칙적인 최적화 접근을 통해 효율적이고 확장 가능하며 강건한 피드어워드 환경에서의 확률적 추론을 가능하게 한다.
• 다양한 실세계 데이터셋에서 데이터 이질성과 통신 제약 조건이 상이한 상황에서도 PVI의 효과성을 입증한다.

제안 방법

• 피드어워드 학습을 위한 변분 추론의 일반화로 분할 변분 추론(PVI)을 제안하며, 클라이언트가 국지적 업데이트를 수행하고 서버가 근사 사후 분포 요소를 집계한다.
• 약한 정규성 조건 하에서 수렴 보장을 보장하는 고정점 최적화 기법을 도입하여 탈중앙화 환경에서의 안정적 훈련을 가능하게 한다.
• 통계적 효율성과 통신 효율성을 유지하면서 대규모 데이터셋에 적용 가능한 미니배치 근사 전략을 개발한다.
• 특히 높은 데이터 이질성 하에서 근사 사후 분포의 업데이트를 안정화하기 위해 서버 집계 단계에 감쇠 인자를 통합한다.
• 모든 실험에서 확률적 경량 하강법(Stochastic Gradient Descent)과 Adam 최적화기로 최적화하는 목적 함수로 증거 하한 경계(ELBO)를 사용한다.
• 순차적 및 동기식 통신 프로토콜을 모두 지원하여 통신 제약 조건이 있는 환경에서의 유연성을 확보한다.

실험 결과

연구 질문

• RQ1 확률적 불확실성 추정과 데이터 프라이버시를 유지하면서도 변분 추론을 피드어워드 학습에 효과적으로 확장할 수 있는가?
• RQ2 PVI는 국지적, 글로벌, 온라인 변분 추론에 대한 서로 다른 연구 흐름을 어떻게 단일의 일관된 프레임워크로 통합하는가?
• RQ3 다양한 데이터 분할 방식과 통신 프로토콜 하에서 PVI의 수렴 성질은 어떠한가?
• RQ4 이질적인 데이터에서 기존 피드어워드 학습 베이스라인 대비 예측 정확도와 강건성 측면에서 PVI의 성능은 어떠한가?
• RQ5 감쇠 인수와 같은 하이퍼파rameter가 실질적으로 PVI의 안정성과 수렴에 어떤 영향을 미치는가?

주요 결과

• 이질적인 데이터 분할 상황에서 이진 분류 작업(Adult, Bank, Credit)에서 PVI는 예측 정확도 측면에서 기존 피드어워드 학습 방법을 능가하는 최신 기술 수준의 성능을 달성한다.
• 5개의 클라이언트가 있는 MIMIC-III 사망 예측 데이터셋에서, PVI는 심각한 클래스 불균형과 높은 데이터 이질성 하에서도 안정적인 수렴과 높은 AUC 성능을 유지한다.
• 동질적인 MNIST 데이터 분할 상황에서 순차적 PVI는 낮은 감쇠 인수를 사용할 경우 동기식 PVI보다 더 빠르게 수렴하지만, 감쇠 인수가 0.25를 초과하면 비정규화 가능한 사후 분포로 인해 동기식 PVI는 발산한다.
• 100개의 클라이언트가 있는 이질적인 MNIST 데이터 분할 상황에서 PVI는 모든 실행에서 높은 테스트 정확도를 유지하며, 다섯 번의 랜덤 초기화에 대해 평균 ± 표준편차를 보고한다.
• PVI에서 미니배치 근사를 사용하면 MNIST와 같은 대규모 데이터셋에서도 효율적인 훈련이 가능하며, 배치 크기 512와 학습률 2×10⁻³ 조건에서 안정적인 최적화가 이루어진다.
• PVI는 통신 제약과 클라이언트의 이질성에 대해 강건성을 보이며, 데이터 양과 레이블 분포가 크게 다른 클라이언트가 있는 상황에서도 성능이 유지된다.