[논문 리뷰] Multi-Epoch Matrix Factorization Mechanisms for Private Machine Learning

Christopher A. Choquette-Choo, H. Brendan McMahan외 2명|arXiv (Cornell University)|2022. 11. 12.

Privacy-Preserving Technologies in Data인용 수 6

한 줄 요약

이 논문은 다중 에포크(multi-epoch) 행렬 분해 기법을 도입하여 차별적(private) 기계 학습(DP)을 위한 새로운 기법을 제안한다. 기존의 온라인 행렬 분해를 개선하여 데이터에 대해 다중 통과(multiple passes)를 지원한다. 다중 참가 감도 제약 조건 하에서 최적의 행렬 계산을 위한 닫힌 형태의 이중 공식을 제안하고, 효율적인 FFT 기반 기법을 도입하여 최신의 비밀성-유용성 트레이드오프를 달성한다. 특히, 비밀성 증폭이 없는 저비용 비밀성 예산(ε ≈ 2)에서도 DP-SGD를 능가한다.

ABSTRACT

We introduce new differentially private (DP) mechanisms for gradient-based machine learning (ML) with multiple passes (epochs) over a dataset, substantially improving the achievable privacy-utility-computation tradeoffs. We formalize the problem of DP mechanisms for adaptive streams with multiple participations and introduce a non-trivial extension of online matrix factorization DP mechanisms to our setting. This includes establishing the necessary theory for sensitivity calculations and efficient computation of optimal matrices. For some applications like $>\!\! 10,000$ SGD steps, applying these optimal techniques becomes computationally expensive. We thus design an efficient Fourier-transform-based mechanism with only a minor utility loss. Extensive empirical evaluation on both example-level DP for image classification and user-level DP for language modeling demonstrate substantial improvements over all previous methods, including the widely-used DP-SGD . Though our primary application is to ML, our main DP results are applicable to arbitrary linear queries and hence may have much broader applicability.

연구 동기 및 목표

• 기존 DP 기법이 단일 에포크 학습에 국한되어 있어 현대적인 머신러닝 파ip라인에서 자연스럽지 않은 점을 해결하기 위해.
• 벡터 기여를 수반하는 일반적인 참가 스키마 하에서 행렬 기반 기법의 감도 계산을 체계화하여 고차원 머신러닝 모델에 적용 가능하게 하기 위해.
• 다중 참가 제약 조건 하에서 최적의 행렬 분해를 위한 계산 효율적인 방법을 개발하여, 특히 대규모 SGD 학습에 적합하게 하기 위해.
• 계산 비용을 줄이면서도 유용성을 유지하는 근사 최적의 FFT 기반 기법을 설계하여, 특히 장기적인 학습 런에 유리하게 하기 위해.
• 예시 수준과 사용자 수준의 DP 설정에서 제안된 기법을 경험적으로 검증하여, 비밀성-유용성 트레이드오프에서 뛰어난 성능을 보여주기 위해.

제안 방법

• 일반적인 참가 스키마 하에서 행렬 기반 기법의 감도 계산을 위한 프레임워크를 제안하며, 이론적 조건을 통해 계산의 타당성과 벡터에서 스칼라로의 감도 축소를 보장한다 (Cor. 2.1, Thm. H.1).
• 다중 참가 감도 제약 조건 하에서 최적의 행렬 분해를 위한 손실 최소화 문제에 대한 닫힌 형태의 이중 함수를 유도한다 (Eq. 6), 이는 이전 연구를 일반화한다.
• 순환 행렬과 토플리츠 행렬의 구조를 활용하여 O(n log n) 시간에 행렬-벡터 곱셈을 효율적으로 계산할 수 있는 FFT 기반 기법을 도입한다.
• 스트리밍 접두합(prefix sums)을 위한 수정된 온라인 Honaker 기반 디코더를 사용하며, DP-FTRL 스타일 파이프라인에서 정확도 향상을 위해 트리 완성 기법을 개선한다.
• 스탬핑과 감도 분석(Thm. 2.1)을 활용하여 다중 에포크 설정에 최적화된 행렬 설계를 최적화하며, 근사 최적의 성능을 달성한다.
• 행렬 기반 기법을 DP-ML에서 선형 쿼리에 적용하며, 이론적 보장이 머신러닝을 초월해 온라인 PCA, 마진 추정, 상위-k 선택 등에 적용 가능하다.

실험 결과

연구 질문

• RQ1 데이터셋에 대해 다중 통과(에포크)를 허용하면서도 차별적(private) 기밀성을 유지할 수 있도록 행렬 분해 기법을 확장할 수 있는가?
• RQ2 다중 참가 및 벡터 기여 조건 하에서 감도 계산과 최적의 행렬 분해가 여전히 계산 가능해지기 위한 이론적 조건은 무엇인가?
• RQ3 대규모 학습(예: 10,000단계 이상의 SGD 스텝)에서 최적의 행렬 분해의 계산 비용을 어떻게 줄일 수 있는가?
• RQ4 FFT 기반 기법이 다중 에포크 설정에서도 계산 비용을 크게 줄이며 근사 최적의 유용성을 달성할 수 있는가?
• RQ5 예시 수준과 사용자 수준의 DP 설정에서 제안된 기법이 DP-SGD 및 이전의 행렬 기반 기법과 비교해 비밀성-유용성 트레이드오프에서 어떻게 성능을 냈는가?

주요 결과

• 제안된 최적의 다중 에포크 행렬 기반 기법은 비밀성 증폭이 없는 저비용 비밀성 예산(ε ≈ 2)에서도 DP-SGD를 능가하며, CIFAR-10에서 이미지 분류 작업에서 최신 기준 성능을 달성한다.
• FFT 기반 기법은 유용성 손실이 미미한 수준에서 근사 최적의 성능을 달성하여, 대규모 학습 환경에서도 효율적인 계산을 가능하게 한다.
• 전체 배치에 기반한 차별적(private) 경사 하강법 대비 계산 비용을 340배 감소시켰으며, 최적의 DP 학습에 대한 전문가 추정 상한선에 근접한 성능을 달성한다.
• 이론적 분석을 통해 다중 참가 조건 하에서 감도 계산이 NP-난해(NP-hard)가 될 수 있음을 확인했지만, 특정 조건 하에서는 계산이 가능함을 입증했다 (Cor. 2.1, Thm. H.1), 실용적 최적화를 가능하게 한다.
• 경험적 결과는 12회의 반복 실험에서 95% 부트스트랩 신뢰구간을 기준으로 일관된 향상을 보이며, 강건성과 일반화 능력을 입증한다.
• 이 프레임워크는 머신러닝을 초월해 임의의 선형 쿼리, 예를 들어 온라인 PCA, 마진 추정, 상위-k 선택 등에 광범위하게 적용 가능하다.