[논문 리뷰] Differentially Private Convex Optimization with Feasibility Guarantees

Vladimir Dvorkin, Ferdinando Fioretto외 3명|arXiv (Cornell University)|2020. 06. 22.

Privacy-Preserving Technologies in Data참고 문헌 34인용 수 4

한 줄 요약

이 논문은 경계 조건이 있는 볼록 최적화를 위한 차별적 비공개 프레임워크를 제안하며, 확률적 제약 조건을 갖는 확률적 최적화 재구성으로 타당성을 보장한다. 최적화 변수를 노이즈의 선형 함수로 만듦으로써 높은 확률로 타당성을 보장하면서도, 신원 및 합계 쿼리의 비공개 제공을 가능하게 하여 최적성 손실과 해의 분산 사이의 조절 가능한 트레이드오프를 달성한다.

ABSTRACT

This paper develops a novel differentially private framework to solve convex optimization problems with sensitive optimization data and complex physical or operational constraints. Unlike standard noise-additive algorithms, that act primarily on the problem data, objective or solution, and disregard the problem constraints, this framework requires the optimization variables to be a function of the noise and exploits a chance-constrained problem reformulation with formal feasibility guarantees. The noise is calibrated to provide differential privacy for identity and linear queries on the optimization solution. For many applications, including resource allocation problems, the proposed framework provides a trade-off between the expected optimality loss and the variance of optimization results.

연구 동기 및 목표

• 민감한 데이터에 대한 해를 공개할 때 타당성 보장이 부족한 차별적 비공개 제약 최적화 문제를 해결하기 위해.
• 물리적 또는 운영적 제약을 위반하지 않으면서 최적화 해에 대한 신원 및 합계 쿼리의 프라이버시를 보장하는 방법을 개발하기 위해.
• 제약 조건을 높은 확률로 유지하는 확률적 제약 조건 재구성으로 공식적인 타당성 보장을 제공하기 위해.
• 특히 자원 할당 및 에너지 시스템에서 기대 최적성 손실과 해의 분산 사이의 조절 가능한 트레이드오프를 가능하게 하기 위해.
• 표준 출력 또는 입력 편향 방법의 한계를 극복하기 위해, 이러한 방법들은 타당성을 유지하지 못하거나 수정을 위해 이중 최적화를 필요로 한다.

제안 방법

• 원래의 볼록 최적화 문제를 해 변수가 랜덤 노이즈의 선형 함수인 확률적 확률적 제약 조건 프로그램으로 재구성한다.
• 해의 기대값 z̃ 과 노이즈에 의존하는 항 f(ξ)를 포함한 선형 기능적 후속 조치 z(ξ) = z̃ + f(ξ)를 사용하여 높은 확률로 타당성을 보장한다.
• 민감한 데이터 d에 독립적으로 (ε, δ)-차별적 비공개를 달성하기 위해 노이즈를 校정한다.
• Gz = d (예: 유량 보존)와 같은 제약 조건을 정확히 충족시키며, 비공개되지 않은 변수들 사이로 편향을 재분배함으로써 최적성 손실을 줄인다.
• 기대 해 z̃ 과 기능적 후속 조치 f(ξ)를 동시에 최적화하는 이중 최적화 유사 문제를 해결하여 프라이버시와 타당성을 모두 확보한다.
• 두 단계 접근 방식을 활용한다: 첫 번째로 확률적 제약 조건 하에서 z̃ 과 f(ξ)를 최적화하고, 두 번째로 결과 분포에서 해를 샘플링하여 공개한다.

실험 결과

연구 질문

• RQ1 복잡한 물리적 또는 운영적 제약 조건 하에서 타당성이 보장되는 차별적 비공개 최적화 프레임워크를 설계할 수 있는가?
• RQ2 최적화 해에 대한 신원 및 합계 쿼리에 대해 제약 조건 충족을 훼손하지 않고 차별적 비공개를 달성할 수 있는가?
• RQ3 기대 최적성 손실과 해의 분산 사이의 트레이드오프는 무엇이며, 이를 어떻게 제어할 수 있는가?
• RQ4 제안된 프레임워크는 표준 출력 편향 방법보다 해의 품질과 타당성 측면에서 뛰어나게 성능을 발휘할 수 있는가?
• RQ5 공개된 변수와 비공개된 변수의 분리가 최적성 손실과 해의 분산 사이의 트레이드오프에 어떤 영향을 미치는가?

주요 결과

• 제안된 프레임워크는 해의 분포에 대한 확률적 제약 조건을 강제하여 높은 확률로 타당성을 보장하며, Gz = d 가 충족됨을 보장한다.
• 118_ieee 테스트 케이스에서 PSQ-a 알고리즘은 ε = 10일 때 최적성 손실의 분산이 0이 되었으며, ϕ 가 증가함에 따라 기대 최적성 손실 E[∆c]가 다소 증가하였다.
• 전체 해의 분산 Var[z(ξ)]는 거의 Tr[Σ] (9개의 편향의 총 분산) 수준으로 감소하여 효과적인 분산 제어를 보였다.
• 기준 에너지 네트워크에서 표준 출력 편향 알고리즘보다 최적성 손실과 해의 분산 측면에서 프레임워크가 뛰어난 성능을 보였다.
• 확률적 제약 조건 재구성에서 트레이드오프 파rameter ϕ 를 조절함으로써 기대 최적성 손실과 해의 분산 사이의 조절 가능한 트레이드오프를 달성할 수 있다.
• 민감한 데이터 d 에 독립적인 기능적 후속 조치 f(ξ)를 보장함으로써, 신원 및 합계 쿼리에 대해 (ε, δ)-차별적 비공개를 달성한다.