[論文レビュー] Differentially Private Convex Optimization with Feasibility Guarantees

Vladimir Dvorkin, Ferdinando Fioretto+3 more|arXiv (Cornell University)|Jun 22, 2020

Privacy-Preserving Technologies in Data参考文献 34被引用数 4

ひとこと要約

本稿では、硬い制約を伴う凸最適化のためのプライバシー保護フレームワークを提案する。制約の整合性を保証するため、確率的制約付きの確率的最適化に再定式化する。最適化変数をノイズの線形関数として定義することで、高い確率で整合性を保証しつつ、アイデンティティおよび和クエリのプライバシー保護された公開を可能にし、最適性損失と解の分散の間で調整可能なトレードオフを達成する。

ABSTRACT

This paper develops a novel differentially private framework to solve convex optimization problems with sensitive optimization data and complex physical or operational constraints. Unlike standard noise-additive algorithms, that act primarily on the problem data, objective or solution, and disregard the problem constraints, this framework requires the optimization variables to be a function of the noise and exploits a chance-constrained problem reformulation with formal feasibility guarantees. The noise is calibrated to provide differential privacy for identity and linear queries on the optimization solution. For many applications, including resource allocation problems, the proposed framework provides a trade-off between the expected optimality loss and the variance of optimization results.

研究の動機と目的

• 特に機微なデータに対する解の公開において、整合性保証の欠如が生じる、差分プライバシーを適用した制約付き最適化の分野における課題に対処すること。
• 物理的または運用上の制約に違反することなく、最適化解に対するアイデンティティおよび和クエリのプライバシー保護を実現する手法の開発。
• 制約の満たされる確率が非常に高いことを保証するための確率的制約付き再定式化を通じて、形式的な整合性保証を提供すること。
• 特にリソース配分およびエネルギー系において、期待される最適性損失と解の分散の間の調整可能なトレードオフを実現すること。
• 標準的な出力または入力の摂動法では整合性を保証できない、あるいは補正のための二段階最適化を要するという限界を克服すること。

提案手法

• 元の凸最適化問題を、解の変数が確率的ノイズの線形関数である確率的確率的制約付きプログラムに再定式化する。
• z(ξ) = z̃ + f(ξ) という線形関数的リカッセ（recourse）を用い、z̃ は期待解、f(ξ) はノイズに依存する項である。これにより、高い確率で整合性が保証される。
• ノイズの調整により、解に対するアイデンティティおよび線形クエリにおいて (ε, δ)-差分プライバシーを達成し、機微なデータ d とは独立に保証する。
• Gz = d（例：フロー保存則）という制約を厳密に満たす一方で、公開されない変数に摂動を再分配することで、最適性損失を低減する。
• 期待解 z̃ と関数的リカッセ f(ξ) を同時に最適化する二段階最適化問題を解き、プライバシーと整合性の両方を満たす。
• 二段階アプローチを採用する：第一段階では、確率的制約の下で z̃ と f(ξ) を最適化；第二段階では、得られた確率分布から解をサンプリングして公開する。

実験結果

リサーチクエスチョン

• RQ1 複雑な物理的または運用上の制約のもとで、解の整合性を保証する差分プライバシー最適化フレームワークを設計できるか？
• RQ2 最適化解に対するアイデンティティおよび和クエリの差分プライバシーを、制約の満たされ方を損なわず達成できるか？
• RQ3 期待される最適性損失と解の分散の間にはどのようなトレードオフがあり、どのように制御できるか？
• RQ4 提案フレームワークは、標準的な出力摂動法に比べ、解の品質および整合性の面で優れているか？
• RQ5 公開対象でない変数との分離が、最適性損失と解の分散のトレードオフにどのように影響するか？

主な発見

• 確率的制約を解の分布に課すことにより、高い確率で解の整合性が保証され、Gz = d が満たされることを保証する。
• 118_ieee テストケースにおいて、PSQ-a アルゴリズムは ε = 10 のとき最適性損失の分散がゼロとなり、ϕ が増加するにつれて期待最適性損失 E[∆c] はわずかに増加するにとどまる。
• 全体の解の分散 Var[z(ξ)] は、9つの摂動の合計分散 Tr[Σ] にほぼ等しくなるなど、効果的な分散制御が実現された。
• ベンチマークエネルギーネットワークにおいて、標準的な出力摂動アルゴリズムに比べ、最適性損失および解の分散の両面で本フレームワークが優れた性能を示した。
• 確率的制約付き再定式化におけるトレードオフパラメータ ϕ を調整することで、期待される最適性損失と解の分散の間の調整可能なトレードオフが実現可能である。
• 関数的リカッセ f(ξ) が機微なデータ d とは独立であることを保証することで、アイデンティティおよび和クエリに対して (ε, δ)-差分プライバシーを達成する。