[論文レビュー] Towards Quantifying the Carbon Emissions of Differentially Private Machine Learning

Rakshit Naidu, Harshita Diddee+4 more|arXiv (Cornell University)|Jul 14, 2021

Privacy-Preserving Technologies in Data参考文献 13被引用数 12

ひとこと要約

この論文は、自然言語処理（NLP）、コンピュータ ビジョン（CV）、強化学習（RL）の分野において、さまざまなプライバシー予算（ε）を想定して、プライバシー保護付き機械学習モデルの炭素排出量を測定することで、CO2排出量を定量化している。厳密なプライバシー（低いε）は、訓練時間と炭素足跡を顕著に増加させることを示しており、非プライベートのベースラインと比較して最大15倍の排出量を要する。これは、プライバシーと環境コストの間で重大なトレードオフが存在することを示している。

ABSTRACT

In recent years, machine learning techniques utilizing large-scale datasets have achieved remarkable performance. Differential privacy, by means of adding noise, provides strong privacy guarantees for such learning algorithms. The cost of differential privacy is often a reduced model accuracy and a lowered convergence speed. This paper investigates the impact of differential privacy on learning algorithms in terms of their carbon footprint due to either longer run-times or failed experiments. Through extensive experiments, further guidance is provided on choosing the noise levels which can strike a balance between desired privacy levels and reduced carbon emissions.

研究の動機と目的

• 微分プライバシーの機械学習への環境的影響、特に炭素足跡を定量化すること。
• さまざまな機械学習タスクにおいて、プライバシー予算（ε）の変化が訓練時間とCO2排出量に与える影響を分析すること。
• プライバシー保護学習における、プライバシー強度、モデル性能、計算リソース使用量のトレードオフを特定すること。
• プライバシー、正確性、炭素排出量のバランスを取るために最適なノイズレベルの選定を実証的に支援すること。
• プライバシー保護付き機械学習モデルにおける炭素排出量を測定するための、最初のベンチマークを確立すること。

提案手法

• 自然言語処理（NLP）（ニュース分類におけるBERT）、コンピュータ ビジョン（CV）（MLPおよびResNet18を用いたMNISTおよびCIFAR-10）、強化学習（RL）（DQNを用いたCartPole）の3分野で、勾配にガウスノイズを追加するDP-SGDを実装した。
• プライバシー予算εを0.5、2、5、15、および∞（非プライベートのベースライン）の各値に変化させ、訓練時間とエネルギー消費量を測定した。
• エポックごとにモデルの正確性とCO2排出量（グラム単位）およびエネルギー消費量（ワットアワー単位）を追跡し、性能と環境的コストを評価した。
• εが訓練ダイナミクスと排出量に与える影響を分離するために、固定のクリッピングノルムとノイズ乗数を用いた。
• エネルギー消費量と地域の電力ミックスに基づく炭素強度モデルを用いて排出量を測定した。
• 各タスクの目標正確性閾値（T）を設定し、εの各レベルにおける収束行動と排出量を比較する実験を実施した。

実験結果

リサーチクエスチョン

• RQ1 プライバシー予算の増加（εの低下）は、プライバシー保護付き機械学習モデルの炭素排出量にどのように影響するか？
• RQ2 さまざまなレベルの微分プライバシー下で、モデルの収束速度とCO2排出量の関係は何か？
• RQ3 より厳しいプライバシー要件（低いε）は、訓練時間の延長とエネルギー消費量の増加にどの程度寄与するか？
• RQ4 最適なノイズレベルの選定によって、プライバシー、モデル正確性、炭素排出量のバランスを取ることは可能か？
• RQ5 さまざまな機械学習タスクにおいて、プライバシー保護付きモデルの炭素足跡は、非プライベートの対応モデルと比べてどの程度異なるか？

主な発見

• 低いプライバシー予算（例：ε = 0.5）では、訓練時間の延長に起因して、炭素排出量が顕著に増加し、非プライベートのベースラインと比較して最大15倍の排出量を示した。
• MNISTでは、70％の正確性に到達するためのCO2排出量は、ε = 0.5のとき10.53gであったのに対し、ε = ∞（非プライベート）のときにはわずか0.08gにまで低下した。εが増加するにつれて排出量は減少した。
• CIFAR-10では、CO2排出量はε = 0.5のとき15.34gからε = ∞のとき0.36gにまで低下した。ε = 0.5のモデルは30エポック以内に55％の正確性に到達できなかった。
• 非プライベートのベースライン（ε = ∞）は、最小の排出量（0.38 Wh、0.08g CO2）を示したが、ε = 0.5のモデルはCIFAR-10で最大70.216 Whのエネルギーを消費し、15.34gのCO2を排出した。
• NLP（BERT）では、非プライベートモデルは最小限の排出量で閾値正確性（52％）に到達したが、DPバージョンはより多くのエポックを要し、顕著に高い炭素足跡を示した。
• 結果から、プライバシー強度（低いε）と環境的コストの間には明確な逆相関関係が確認され、より強いプライバシーが長時間の訓練と高い排出量をもたらすことが示された。