[논문 리뷰] Near Instance-Optimality in Differential Privacy

Hilal Asi, John C. Duchi|arXiv (Cornell University)|2020. 05. 16.

Privacy-Preserving Technologies in Data참고 문헌 36인용 수 4

한 줄 요약

이 논문은 국소 최소 최대 위험과 비편향 기준 기반으로 차별적 비밀성에서 인스턴스 최적성의 개념을 제안한다. 국소 연속성 모듈러스가 추정량의 최적 오차를 완전히 결정함을 보이며, 데이터 인스턴스에 따라 적응하는 역감도 기반 기법을 제안한다. 이 기법은 연속 함수 및 중앙값, 회귀와 같은 강건한 추정량에 대해 스무드 감도 및 라플라스 기반 기법보다 균일하게 뛰어난 성능을 보인다.

ABSTRACT

We develop two notions of instance optimality in differential privacy, inspired by classical statistical theory: one by defining a local minimax risk and the other by considering unbiased mechanisms and analogizing the Cramer-Rao bound, and we show that the local modulus of continuity of the estimand of interest completely determines these quantities. We also develop a complementary collection mechanisms, which we term the inverse sensitivity mechanisms, which are instance optimal (or nearly instance optimal) for a large class of estimands. Moreover, these mechanisms uniformly outperform the smooth sensitivity framework on each instance for several function classes of interest, including real-valued continuous functions. We carefully present two instantiations of the mechanisms for median and robust regression estimation with corresponding experiments.

연구 동기 및 목표

• 최악의 경우 경계가 아닌 데이터에 따라 달라지는 곤란도를 반영하는 차별적 비밀성에서의 인스턴스별 최적성 개념을 개발한다.
• 국소 최소 최대 위험과 비편향 추정을 이용한 사전 기준을 설정하여, 고전적 크래머-라오 경계와 유사한 사전 기준을 수립한다.
• 데이터 인스턴스에 따라 적응하는 새로운 기법 클래스인 역감도 기반 기법을 설계한다.
• 이러한 기법이 다양한 함수 클래스에서 기존 프레임워크인 스무드 감도 및 라플라스 기반 기법보다 균일하게 뛰어나다는 것을 보여준다.
• 이론적 및 실증적 검증을 통해 연속적인 추정량인 중앙값 및 강건한 회귀에 대한 프레임워크를 확장한다.

제안 방법

• 데이터셋에서 함수의 국소 연속성 모듈러스가 오차 하한을 결정하므로, 비밀성 보장이 있는 국소 최소 최대 프레임워크를 사용해 인스턴스별 하한을 정의한다.
• 역감도 기반 기법을 도입하며, 국소 감도의 역수를 사용하는 비밀성 보장이 있는 지수 기반 기법으로 정의한다: $\mathbb{P}(M(\mathbf{x})=t) \propto \exp(-\mathsf{len}_f(\mathbf{x};t)\varepsilon/2)$.
• 연속적인 추정량의 경우, $\mathsf{len}_f(\mathbf{x};t)$를 $f(\mathbf{x}')=t$가 되는 데이터셋으로의 최소 해밍 거리로 정의하여, 역감도의 연속적 해석을 구성한다.
• 변수 교체와 회전 대칭성을 활용해 $\pi(t) \propto \exp(-\|A t\|)$에서 샘플링을 수행하며, 고차원에서의 효율적 샘플링을 가능하게 한다.
• 테일러 전개와 오차 경계를 적용하여 목표 밀도 $\pi$와 이차 근사 $q$의 비율이 0에서 멀리 떨어져 있음을 보이며, 이는 근사 최적성의 보장을 의미한다.
• 실증적으로 중앙값 및 강건한 회귀에 대해 기법을 검증하여, 라플라스 및 스무드 감도 기법보다 높은 정확도를 확보한다.

실험 결과

연구 질문

• RQ1 차별적 비밀성에서 인스턴스별 하한을 정의할 수 있는가? 이는 특정 데이터셋에서의 비밀 유지 추정의 진정한 곤란도를 반영해야 한다.
• RQ2 비밀성 기법이 최악의 경우 전역 감도에 의존하는 것 대비, 데이터셋의 국소 구조에 얼마나 잘 적응할 수 있는가?
• RQ3 중앙값 및 연속적, 강건한 추정량을 포함한 다양한 함수 클래스에서 근접한 인스턴스 최적성을 달성하는 기법 클래스가 존재하는가?
• RQ4 역감도 기반 기법이 스무드 감도 및 라플라스 기법과 비교해 오차와 적응성 측면에서 어떻게 성능을 냅니까?
• RQ5 역감도 기반 기법의 이론적 최적성은 증명 가능한 성능 보장을 갖는 연속 출력 공간으로 확장될 수 있는가?

주요 결과

• 추정량의 국소 연속성 모듈러스가 인스턴스별 최소 최대 위험과 비편향 추정 하한을 완전히 결정한다.
• 동일한 데이터셋에서, 역감도 기반 기법은 다른 모든 $\varepsilon$-차별적 비밀성 기법보다 진짜 값 $f(\mathbf{x})$를 반환할 확률이 더 높다.
• $\mathbb{R}$-값 연속 함수의 경우, 역감도 기반 기법은 모든 인스턴스에서 스무드 감도 및 라플라스 기법보다 균일하게 뛰어난 성능을 보인다.
• 중앙값 추정에서, 역감도 기반 기법은 희소하거나 비대칭적인 데이터에서 라플라스 및 스무드 감도 기법보다 유의미하게 낮은 오차를 기록한다.
• 강건한 회귀의 경우, 기준 방법보다 더 높은 정확도를 유지하며, 데이터 적응형 노이즈 스케일링 덕분에 오염된 환경에서도 뛰어난 성능을 발휘한다.
• 이론적 분석을 통해 목표 밀도 $\pi$와 이차 근사 $q$의 비율이 0에서 멀리 떨어져 있음을 확인하여, 근사 최적성의 보장을 입증한다.