[論文レビュー] Differentially Private Coordinate Descent for Composite Empirical Risk Minimization

Paul Mangold, Aurélien Bellet+2 more|arXiv (Cornell University)|Oct 22, 2021

Privacy-Preserving Technologies in Data参考文献 44被引用数 4

ひとこと要約

本稿では、微分プライバシー下での複合的経験リスク最小化（composite Empirical Risk Minimization）のための新規アルゴリズムである、微分プライバシー付き座標勾配降下法（DP-CD）を提案する。座標ごとの勾配ノイズ付加と大きな定数ステップサイズを活用することで、DP-SGDに比べてより高い有効性を達成し、特に不均衡な問題において顕著であり、理論的下界に対して対数要因の差で一致する。

ABSTRACT

Machine learning models can leak information about the data used to train them. To mitigate this issue, Differentially Private (DP) variants of optimization algorithms like Stochastic Gradient Descent (DP-SGD) have been designed to trade-off utility for privacy in Empirical Risk Minimization (ERM) problems. In this paper, we propose Differentially Private proximal Coordinate Descent (DP-CD), a new method to solve composite DP-ERM problems. We derive utility guarantees through a novel theoretical analysis of inexact coordinate descent. Our results show that, thanks to larger step sizes, DP-CD can exploit imbalance in gradient coordinates to outperform DP-SGD. We also prove new lower bounds for composite DP-ERM under coordinate-wise regularity assumptions, that are nearly matched by DP-CD. For practical implementations, we propose to clip gradients using coordinate-wise thresholds that emerge from our theory, avoiding costly hyperparameter tuning. Experiments on real and synthetic data support our results, and show that DP-CD compares favorably with DP-SGD.

研究の動機と目的

• 微分プライバシー最適化におけるDP-SGDのステップサイズ制約および勾配の不均衡への感受性という限界を克服すること。
• ℓ1のような滑らかでない正則化子を伴う複合的ERM問題に特化した、新しい微分プライバシー最適化フレームワークの開発。
• ノイズ付き勾配を用いた不正確な近接座標降下の分析を通じて、プライバシーと有効性のトレードオフのタイトな理論的境界を確立すること。
• 理論から導出された座標ごとのクリッピング閾値を用いて、高価な手動キャリブレーションを回避する、実用的なハイパーパramータチューニングのガイドラインを提供すること。
• 実データおよび合成データを用いた広範な実験を通じて、バランス型および不均衡型の両設定において、DP-CDがDP-SGDを上回ることを実証すること。

提案手法

• 1つの座標を順次更新する、微分プライバシー付き近接座標降下アルゴリズム（DP-CD）を提案し、ノイズ付き部分勾配を用いる。
• 理論的滑らかさ定数に基づく座標ごとの勾配クリッピングを用い、プライバシーを保持しつつノイズを低減する。
• 最適解からの反復の距離を追跡する、新しい再帰的解析を導入し、座標ごとの正則性定数を管理することで、よりタイトな収束境界を達成する。
• 部分勾配のフル勾配より低い感度を活用し、高度な合成定理を用いてプライバシー保証を導出する。
• 事前知識がなくても利用可能となるよう、部分サンプリングと微分プライバシー付き手続きを用いて、座標ごとの滑らかさ定数をプライバシーに配慮して推定する。
• ハイパーパラメータチューニングの複雑さを軽減するため、座標ごとのクリッピング閾値を適応させる単一ハイパーパラメータルールを実装する。

実験結果

リサーチクエスチョン

• RQ1 同じプライバシー予算のもとで、座標降下法はSGDスタイルの手法に比べ、微分プライバシーERMにおいてより高い有効性を達成できるか？
• RQ2 座標ごとの勾配の大きさの不均衡は、プライベート最適化アルゴリズムの性能にどのように影響するか？
• RQ3 座標ごとの正則性仮定のもとで、複合的DP-ERMの最適なプライバシーと有効性のトレードオフは何か？
• RQ4 プライベート座標降下アルゴリズムは、対数要因の差で既知の理論的下界に一致できるか？
• RQ5 実際の応用において、広範なハイパーパラメータチューニングを避けながら、座標ごとのクリッピング閾値を効率的に設定する方法は何か？

主な発見

• 不均衡データセットにおいて、DP-CDはDP-SGDに比べて顕著に低い最適化誤差を達成し、カリフォルニア住宅データセットではε=1の条件下で相対誤差が90％まで低下（例：0.0010 vs. 0.0087）。
• スパースLASSO問題において、ε=10の条件下でDP-CDはDP-SGDに比べて誤差を60％以上低減し、相対誤差は0.2498 vs. 0.7551を達成した。
• DP-CDは1イテレーションあたりDP-SGDの約4〜5倍速く実行され、高有効性の解への収束が早くなる。
• 座標ごとの正則性仮定のもとで、複合的DP-ERMの理論的下界に、対数要因の差で一致するため、近似的に最適性を達成している。
• 座標ごとのクリッピング閾値を設定するための単一ハイパーパラメータルールにより、手動チューニングを回避しつつ効果的な性能が得られ、複数のデータセットで妥当性が検証された。
• バランス型設定でもDP-CDはDP-SGDを上回る性能を示し、不均衡問題に限らず広範な応用に有効であることが確認された。