[논문 리뷰] Training Production Language Models without Memorizing User Data

Swaroop Ramaswamy, Om Thakkar외 4명|arXiv (Cornell University)|2020. 09. 21.

Privacy-Preserving Technologies in Data참고 문헌 29인용 수 16

한 줄 요약

이 논문은 모바일 디바이스에서 대규모 생산용 다음 단어 예측 모델을 훈련하기 위해, 사용자 데이터의 기억을 방지하기 위해 DP-FedAvg를 사용하는 차별적 비밀성 보장(federated learning) 시스템의 최초 배포를 제시한다. 실제 환경에서 균일한 샘플링과 샘플 기밀성의 검증이 어려운 상황에도 불구하고, 종단 간 실험 측정 결과는 의도하지 않은 기억 현상에 대한 강력한 저항성을 확인하였으며, 대규모 온디바이스 AI 훈련에서의 실용적 개인정보 보호를 입증한다.

ABSTRACT

This paper presents the first consumer-scale next-word prediction (NWP) model trained with Federated Learning (FL) while leveraging the Differentially Private Federated Averaging (DP-FedAvg) technique. There has been prior work on building practical FL infrastructure, including work demonstrating the feasibility of training language models on mobile devices using such infrastructure. It has also been shown (in simulations on a public corpus) that it is possible to train NWP models with user-level differential privacy using the DP-FedAvg algorithm. Nevertheless, training production-quality NWP models with DP-FedAvg in a real-world production environment on a heterogeneous fleet of mobile phones requires addressing numerous challenges. For instance, the coordinating central server has to keep track of the devices available at the start of each round and sample devices uniformly at random from them, while ensuring \emph{secrecy of the sample}, etc. Unlike all prior privacy-focused FL work of which we are aware, for the first time we demonstrate the deployment of a differentially private mechanism for the training of a production neural network in FL, as well as the instrumentation of the production training infrastructure to perform an end-to-end empirical measurement of unintended memorization.

연구 동기 및 목표

• 실제 모바일 환경에서 사용자 수준의 차별적 비밀성 보장과 함께 연합 학습(FL)을 활용해 다음 단어 예측 모델을 개발하고 배포하는 것.
• 연합 학습 시스템에서 이론적 DP 보장과 실질적 배포 제약 간 격차를 메우는 것.
• 대규모 언어 모델에서 사용자 데이터의 의도하지 않은 기억 현상에 대한 저항성을 실험적으로 측정하고 입증하는 것.
• 대규모 이질적인 모바일 디바이스 환경에서 차별적 비밀성 보장 연합 평균화(DP-FedAvg)를 적용할 수 있는지 평가하는 것.
• 분산형 시스템에서 훈련 데이터의 샘플링 및 보안을 유지할 때 발생하는 실질적 과제를 식별하고 해결하는 것.

제안 방법

• TensorFlow 기반의 연합 학습(FL) 인프라를 활용해, 모바일 기기에서 다음 단어 예측을 위한 순환 신경망을 훈련시켰다.
• 사용자 수준의 차별적 비밀성 보장을 보장하기 위해, 모델 업데이트에 보정된 노이즈를 추가하는 차별적 비밀성 보장 연합 평균화(DP-FedAvg)를 적용했다.
• DP 메커니즘에서 비밀성과 모델 유틸리티의 균형을 위해 노이즈 표준편차 σ = 3.2 × 10⁻⁵를 사용했다.
• 기기의 가용성(비활성, 충전 중, Wi-Fi 연결)에 따라 동적으로 제한된 풀에서 기기를 선택하는 샘플링 전략을 구현했다. 이는 알려진 전 세계 인구 수를 기반으로 한 것이 아니었다.
• 모든 사용자-서버 통신에 종단 간 암호화를 구현해 업데이트 기밀성을 보호했다.
• 모델 설정 중 비밀성 泄露를 방지하기 위해 공개 데이터셋에서 하이퍼파rameter 튜닝을 수행했다.

실험 결과

연구 질문

• RQ1 실제 이질적인 모바일 디바이스 환경에서 대규모 다음 단어 예측 모델을 DP-FedAvg를 사용해 훈련시킬 수 있는가?
• RQ2 실제 환경에서 DP-FedAvg 메커니즘이 사용자 데이터의 의도하지 않은 기억 현상을 어느 정도 효과적으로 방지하는가?
• RQ3 모르는 인구 수와 비균일한 기기 샘플링과 같은 실질적 제약 조건이 이론적 DP 보장의 유효성에 어떤 영향을 미치는가?
• RQ4 비밀성 파rameter의 검증이 제한된 상황에서도, 모델이 데이터 복원 공격에 대해 얼마나 견고한지에 대한 실험적 증거는 무엇인가?
• RQ5 사용자 개인 데이터에 접근하지 않고도 하이퍼파rameter 튜닝 과정에서 개인정보 보호를 어떻게 유지할 수 있는가?

주요 결과

• 훈련된 NWP 모델은 기존 비비밀 기반 모델 대비 뛰어난 유틸리티를 확보하여 실제 사용 환경에서 뛰어난 성능을 보였다.
• 종단 간 실험 측정 결과, 모델이 의도하지 않은 기억 현상에 저항함을 확인하여, 개인 사용자 데이터의 효과적인 보호를 입증했다.
• 균일한 샘플링과 인구 수 검증이 어려운 상황에도 불구하고, 모델은 데이터 복원 공격에 대해 강력한 저항성을 보였다.
• 생산 환경에서 인구 수와 샘플링 균일성에 대한 검증 불가 가정이 존재해, 시스템은 공식적인 (ε,δ)-DP 진술을 하지 않았다.
• 알려진 인구 수를 가정한 가상의 ε 상한을 계산했으며, N = 400만 대의 기기에서 ε ≈ 5.36, δ = N⁻¹.¹로 추정되었다.
• 연구는 실질적 배포에서 DP를 적용하기 위해서는 이론적 보장 외에도 강력한 장비 및 측정 체계가 필수적임을 강조한다.