[論文レビュー] Stochastic Adaptive Line Search for Differentially Private Optimization

Chen Chen, Jae Wook Lee|arXiv (Cornell University)|Aug 18, 2020

Privacy-Preserving Technologies in Data参考文献 26被引用数 4

ひとこと要約

本稿では、Rényi微分プライバシーのもとで、ノイズの入った勾配と関数推定値を用いてArmijo条件を満たす確率的バックトラッキング線探索を実行し、プライバシー予算の使用を最小限に抑える、ステップサイズを適応的に選択するためのRényi微分プライバシー付き確率的勾配降下法を提案する。勾配の方向変化に基づいてプライバシー予算を適応的に割り当てることで、凸および非凸問題において、既存のプライバシー最適化手法よりも優れた収束性と有効性を達成する。

ABSTRACT

The performance of private gradient-based optimization algorithms is highly dependent on the choice of step size (or learning rate) which often requires non-trivial amount of tuning. In this paper, we introduce a stochastic variant of classic backtracking line search algorithm that satisfies Rényi differential privacy. Specifically, the proposed algorithm adaptively chooses the step size satsisfying the the Armijo condition (with high probability) using noisy gradients and function estimates. Furthermore, to improve the probability with which the chosen step size satisfies the condition, it adjusts per-iteration privacy budget during runtime according to the reliability of noisy gradient. A naive implementation of the backtracking search algorithm may end up using unacceptably large privacy budget as the ability of adaptive step size selection comes at the cost of extra function evaluations. The proposed algorithm avoids this problem by using the sparse vector technique combined with the recent privacy amplification lemma. We also introduce a privacy budget adaptation strategy in which the algorithm adaptively increases the budget when it detects that directions pointed by consecutive gradients are drastically different. Extensive experiments on both convex and non-convex problems show that the adaptively chosen step sizes allow the proposed algorithm to efficiently use the privacy budget and show competitive performance against existing private optimizers.

研究の動機と目的

• 微分プライバシー最適化におけるステップサイズ選択の課題に取り組む。これは収束性と有効性に顕著に影響を与える。
• Rényi微分プライバシーのもとで、Armijo条件を満たすステップサイズを適応的に選択するプライバシー保護型線探索機構を設計する。
• バックトラッキング線探索における複数回の関数評価による過剰なプライバシー予算消費を、スパースベクタ技法とプライバシー増幅を活用することで軽減する。
• 連続する勾配が著しく異なる方向を向く場合に、ノイズの入った勾配におけるステップサイズ選択の信頼性を向上させるために、プライバシー予算を動的に調整する。
• 凸問題、非凸問題、深層学習問題において、微分プライバシーのもとで、適応的ステップサイズ選択が性能を向上させることを実証的に検証する。

提案手法

• Rényi微分プライバシーのもとで、高確率でArmijo条件を満たすように、ノイズの入った勾配と関数推定値を用いた確率的バックトラッキング線探索アルゴリズムを提案する。
• スパースベクタ技法を適用し、すべての評価に対してではなく、Armijo条件のチェックが行われるイテレーションに対してのみプライバシー予算を消費することで、予算使用量を制限する。
• ランダムサブサンプリングによるプライバシー増幅を活用し、関数評価に対するプライバシー予算制約を緩和する。
• 連続する勾配のなす角度が閾値を超えると、勾配方向の不安定性や矛盾を示すため、プライバシー予算を増加させる動的プライバシー予算適応戦略を導入する。
• 1イテレーションあたりのプライバシー予算に基づいて、適切にノイズスケールをキャリブレートしたガウスメカニズムを用い、Rényi微分プライバシーを保証する。
• プライバシー予算を勾配評価と関数評価に割り当て、定められた範囲内で最大の有効なステップサイズを返すNoisyBTLSサブルーチンを実装する。

実験結果

リサーチクエスチョン

• RQ1 Rényi微分プライバシーのもとで、Armijo条件を満たすステップサイズを適応的に選択しつつ、プライバシー予算の使用量を最小限に抑える微分プライバシー線探索アルゴリズムを設計できるか？
• RQ2 微分プライバシーのもとでノイズの入った勾配と関数推定値が存在する状況において、ステップサイズ選択の信頼性をどのように向上できるか？
• RQ3 適応的プライバシー予算割り当てが、プライベート最適化における収束速度とモデル有効性に与える影響は何か？
• RQ4 DP-SGD や DP-Adam といった既存のプライベート最適化手法と比較して、提案手法は収束性および最終的なモデルパフォーマンスにおいてどのように異なるか？
• RQ5 線探索による適応的ステップサイズ選択は、微分プライバシーのもとで凸問題および非凸問題の両方において性能を向上させることができるか？

主な発見

• MLPおよびCNNモデルにおけるMNIST、FMNIST、Cifar-10の分類タスクにおいて、DP-BLSGDはDP-SGDおよびDP-Adamを上回る収束速度と最終的な正確性を達成しており、特に目的関数値の低減において顕著な優位性を示す。
• ロジスティック回帰タスクにおいて、4つのデータセットのうち3つにおいて、DP-AGD や Outpert-RSGD よりも高い分類正確性を達成しており、特に低プライバシー予算条件下で顕著である。
• アルゴリズムの適応的ステップサイズ選択により、収束が速く、訓練の各イテレーションでステップサイズが適切に減少していることが、図5の下段のプロットから観察された。
• 訓練中におけるプライバシー予算の増加がなければ、DP-BLSGDはDP-SGD や DP-Adam よりも優れたパフォーマンスを示し、線探索そのものの価値を示している。
• 動的プライバシー予算適応戦略により信頼性が向上：勾配方向が著しく分離する場合、アルゴリズムは安定した勾配推定を保証するために予算を増加させる。
• Bankデータセットでは、Outpert-RSGD が DP-BLSGD を上回る性能を示したが、これはデータセットの訓練範囲が小さいため、勾配ノイズベースの手法の効果が薄れる可能性があるためと推測される。