[논문 리뷰] From Robustness to Privacy and Back

Hilal Asi, Jonathan Ullman외 1명|arXiv (Cornell University)|2023. 02. 03.

Privacy-Preserving Technologies in Data인용 수 5

한 줄 요약

이 논문은 역감도 기반 메커니즘을 사용하여 강건성과 차별적 비밀성(DP) 알고리즘 간의 이중성 변환을 제시한다. 연속적인 출력을 위한 스무스 역감도 기반 메커니즘을 도입하여, 어떤 강건 알고리즘도 유사한 오차를 갖는 ε-DP 알고리즘으로 변환될 수 있음을 증명하고, 반대로도 마찬가지로 성립함을 보이며, 데이터 오염과 차별적 비밀성 제약 조건 하에서 통계적 추정에서 강건성과 비밀성 간의 깊은 이원성(duality)을 확립한다.

ABSTRACT

We study the relationship between two desiderata of algorithms in statistical inference and machine learning: differential privacy and robustness to adversarial data corruptions. Their conceptual similarity was first observed by Dwork and Lei (STOC 2009), who observed that private algorithms satisfy robustness, and gave a general method for converting robust algorithms to private ones. However, all general methods for transforming robust algorithms into private ones lead to suboptimal error rates. Our work gives the first black-box transformation that converts any adversarially robust algorithm into one that satisfies pure differential privacy. Moreover, we show that for any low-dimensional estimation task, applying our transformation to an optimal robust estimator results in an optimal private estimator. Thus, we conclude that for any low-dimensional task, the optimal error rate for $\varepsilon$-differentially private estimators is essentially the same as the optimal error rate for estimators that are robust to adversarially corrupting $1/\varepsilon$ training samples. We apply our transformation to obtain new optimal private estimators for several high-dimensional tasks, including Gaussian (sparse) linear regression and PCA. Finally, we present an extension of our transformation that leads to approximate differentially private algorithms whose error does not depend on the range of the output space, which is impossible under pure differential privacy.

연구 동기 및 목표

• 통계적 추정에서 데이터 오염과 차별적 비밀성 제약 조건 하에서 강건성과 차별적 비밀성 간의 공식적인 이원성을 확립하기 위해.
• 연속적인 함수에 대한 개인정보 보호 출력을 가능하게 하는 스무스 역감도 기반 메커니즘을 개발하기 위해.
• 어떤 강건 알고리즘도 유사한 오차 범위를 갖는 차별적 비밀성 알고리즘으로 변환될 수 있음을 보여주기 위해.
• 데이터 직경에 대한 의존도를 개선하기 위해 근사 DP에 대한 잘린 역감도 기반 메커니즘을 제공하기 위해.
• 비밀성 알고리즘이 본질적으로 강건성 성질을 지닌다는 것을 보여주어 이원성의 완전성을 확보하기 위해.

제안 방법

• ρ-스무스 역감도 기반 메커니즘을 사용하여 확률 밀도를 exp(−ε·len^ρ(S;t)/2) 비례로 정의한다. 여기서 len^ρ는 f(S')가 t로부터 ρ 이내에 있도록 하기 위해 수정해야 하는 최소 데이터 포인트 수이다.
• 지역 연속성 모듈러스 ω_f(S;K)를 K-하밍 거리 변형에 대해 f(S)와 f(S')의 최대 편차로 정의한다.
• 스코어로 ρ-스무스 경로 길이 함수를 사용한 지수 기반 메커니즘을 적용하여 ε-차별적 비밀성을 보장한다.
• 오직 역감도 ≤ K인 값들만 출력하는 잘린 역감도 기반 메커니즘을 도입하여 (ε,δ)-DP에 대한 비밀성 보장을 향상시킨다.
• 입력이 잘린 기반 메커니즘을 적용하기 전에 사전에 검증하기 위해 비밀성 테스트를 사용하여, 제한된 지수 기반 메커니즘 프레임워크를 통해 (ε,δ)-비구별성 확보한다.
• 입력이 '나쁜' 집합 S_bad에 속하지 않은 경우, 기반 메커니즘이 고확률로 오차 ≤ 3B를 달성하며, (ε,δ)-비구별성 조건을 만족함을 증명한다.

실험 결과

연구 질문

• RQ1 강건 알고리즘을 체계적으로 유사한 오차를 갖는 차별적 비밀성 알고리즘으로 변환할 수 있는가?
• RQ2 역감도 기반 메커니즘이 통계적 추정에서 강건성과 비밀성 간 격차를 어떻게 메우는가?
• RQ3 연속적인 출력에 대해 ρ-스무스 역감도 기반 메커니즘을 사용할 경우 오차-비밀성 트레이드오프는 어떻게 되는가?
• RQ4 역감도 함수를 잘라내어 근사 DP에서 데이터 직경에 대한 의존도를 제거할 수 있는가?
• RQ5 모든 차별적 비밀성 알고리즘이 본질적으로 강건한가? 만약 그렇다면 어떤 조건에서인가?

주요 결과

• ρ-스무스 역감도 기반 메커니즘은 출력 노름 ≤ R인 연속 함수에 대해 (1−β)-확률 오차 상한으로 ω_f(S; (2(d log(R/ρ + 1) + log(1/β))/ε)) + ρ을 보장한다.
• 모든 (τ,β,α)-강건성 성질을 지닌 강건 알고리즘에 대해, 변환된 ε-DP 기반 메커니즘은 τ ≥ 2(d log(R/α₀ + 1) + log(1/β))/nε 조건 하에 확률 ≥ 1−2β로 오차 ≤ 4α를 달성한다.
• 잘린 역감도 기반 메커니즘은 (ε,δ)-DP를 달성하며, S_bad에서 벗어난 입력에 대해 오차 ≤ 3B를 보장한다. 여기서 ω_f(S;K+1) ≤ B이다.
• 강건성에서 비밀성으로의 변환 과정에서 오차가 상수 배수(4배) 이내로 유지됨을 보여주어, 엄밀한 이원성을 입증한다.
• 논문은 모든 ε-DP 알고리즘이 본질적으로 강건성을 지닌다는 것을 증명하여, 이원성의 반대 방향도 완성한다.
• 근사 DP의 경우, 잘라내기와 비밀성 테스트를 통해 직경 R에 대한 의존도를 제거함으로써 확장성 향상을 달성한다.