[논문 리뷰] Towards Quantifying the Carbon Emissions of Differentially Private Machine Learning

Rakshit Naidu, Harshita Diddee외 4명|arXiv (Cornell University)|2021. 07. 14.

Privacy-Preserving Technologies in Data참고 문헌 13인용 수 12

한 줄 요약

이 논문은 NLP, 컴퓨터 비전, 강화 학습 분야에서 다양한 비용소모 기반의 차별적 프라이버시 기반 기계학습 모델의 탄소 배출을 측정하여, 다양한 프라이버시 예산(ε)에서 학습 중 탄소 배출을 정량화한다. 더 엄격한 프라이버시(낮은 ε)는 학습 시간과 탄소 발자국을 크게 증가시키며, 비공개 기준 모델 대비 최대 15배 이상의 배출을 유발함을 보여주며, 프라이버시와 환경 비용 사이의 극명한 상충관계를 드러낸다.

ABSTRACT

In recent years, machine learning techniques utilizing large-scale datasets have achieved remarkable performance. Differential privacy, by means of adding noise, provides strong privacy guarantees for such learning algorithms. The cost of differential privacy is often a reduced model accuracy and a lowered convergence speed. This paper investigates the impact of differential privacy on learning algorithms in terms of their carbon footprint due to either longer run-times or failed experiments. Through extensive experiments, further guidance is provided on choosing the noise levels which can strike a balance between desired privacy levels and reduced carbon emissions.

연구 동기 및 목표

• 차별적 프라이버시가 기계학습에 미치는 환경적 영향, 특히 탄소 발자국을 정량화하는 것.
• 다양한 ML 작업에서 프라이버시 예산(ε)의 변화가 학습 기간과 CO2 배출에 어떤 영향을 미치는지 분석하는 것.
• 프라이버시 보장 수준, 모델 성능, 계산 자원 사용량 사이의 상충관계를 이해하는 것.
• 프라이버시, 정확도, 탄소 배출을 균형 잡는 데 도움이 되는 노이즈 수준 선택에 대한 실증적 지침을 제공하는 것.
• 차별적 프라이버시 기반 기계학습 모델에서 탄소 배출을 측정하는 데 있어 첫 번째 벤치마크를 설정하는 것.

제안 방법

• NLP(뉴스 분류에서의 BERT), CV(MNIST 및 CIFAR-10에서의 MLP 및 ResNet18), RL(CartPole에서의 DQN) 분야에서 학습 중 기울기에 가우시안 노이즈를 추가하는 DP-SGD를 구현하였다.
• 비공개 기준 모델(ε = ∞ 포함)을 포함해 ε 값을 0.5, 2, 5, 15, ∞로 다양화하여 학습 시간과 에너지 소비를 측정하였다.
• 에포크 단위로 모델 정확도와 CO2 배출(g), 에너지 소비(Wh)를 추적하여 성능과 환경 비용을 평가하였다.
• 클리핑 노름과 노이즈 배수를 고정하여 ε의 영향을 학습 동역학과 배출에만 집중할 수 있도록 하였다.
• 에너지 소비와 지역 전력 혼합 비율에 기반한 탄소 강도 모델을 사용해 탄소 배출을 측정하였다.
• 각 작업의 목표 정확도 기준(T)을 설정하고, ε 수준 간 수렴 행동과 탄소 배출을 비교 분석하기 위해 실험을 수행하였다.

실험 결과

연구 질문

• RQ1 프라이버시 예산을 증가시킬수록(ε를 낮출수록) 차별적 프라이버시 기반 기계학습 모델의 탄소 배출에 어떤 영향을 미치는가?
• RQ2 다양한 수준의 차별적 프라이버시에서 모델 수렴 속도와 CO2 배출 간의 관계는 어떠한가?
• RQ3 더 엄격한 프라이버시 요구사항(낮은 ε)이 학습 시간 연장과 더 높은 에너지 소비로 이어지는 정도는 어느 정도인가?
• RQ4 최적의 노이즈 수준 선택을 통해 프라이버시, 모델 정확도, 탄소 배출 간 균형을 이룰 수 있는가?
• RQ5 다양한 ML 작업에서 차별적 프라이버시 모델의 탄소 발자국은 비공개 기준 모델과 비교해 어떻게 다른가?

주요 결과

• 낮은 프라이버시 예산(예: ε = 0.5)은 학습 시간 연장으로 인해 비공개 기준 모델 대비 최대 15배 이상의 탄소 배출을 유발하였다.
• MNIST에서는 ε = 0.5일 때 70% 정확도를 달성하기 위해 10.53g의 CO2가 발생했으나, ε = ∞(비공개)일 땐 단지 0.08g에 그쳤으며, ε가 증가할수록 배출량이 감소하였다.
• CIFAR-10에서는 ε = 0.5일 때 CO2 배출이 15.34g에서 ε = ∞일 때 0.36g으로 감소하였고, ε = 0.5일 경우 30 에포크 내에 55% 정확도에 도달하지 못하였다.
• 비공개 기준 모델(ε = ∞)은 가장 낮은 배출량(0.38 Wh, 0.08g CO2)을 기록했고, ε = 0.5 모델은 CIFAR-10에서 최대 70.216 Wh의 에너지를 소비하고 15.34g의 CO2를 배출하였다.
• NLP(예: BERT)에서는 비공개 모델이 최소한의 배출로 기준 정확도(52%)에 도달했지만, DP 변형은 더 많은 에포크를 필요로 하며 탄소 발자국이 상당히 증가하였다.
• 결과적으로 프라이버시 강도(낮은 ε)가 높을수록 환경 비용이 증가하며, 더 강력한 프라이버시 보장은 더 긴 학습 시간과 더 높은 배출을 초래함을 보여주었다.