[논문 리뷰] Differential privacy and robust statistics in high dimensions

Xiyang Liu, Weihao Kong외 1명|arXiv (Cornell University)|2021. 11. 12.

Privacy-Preserving Technologies in Data참고 문헌 78인용 수 6

한 줄 요약

이 논문은 고차원 통계 추정에서 비차별적(private) 추정을 위한 일반적인 프레임워크인 고차원 제안-검증-해제(HPTR)를 소개한다. 지수 기반 메커니즘, 강건 통계, 내성 기반 민감도 분석을 융합함으로써, 최소한의 가정 하에 평균 추정, 선형 회귀, 공분산 추정, 주성분 분석 등에 대해 거의 최적의 표본 복잡도를 달성한다.

ABSTRACT

We introduce a universal framework for characterizing the statistical efficiency of a statistical estimation problem with differential privacy guarantees. Our framework, which we call High-dimensional Propose-Test-Release (HPTR), builds upon three crucial components: the exponential mechanism, robust statistics, and the Propose-Test-Release mechanism. Gluing all these together is the concept of resilience, which is central to robust statistical estimation. Resilience guides the design of the algorithm, the sensitivity analysis, and the success probability analysis of the test step in Propose-Test-Release. The key insight is that if we design an exponential mechanism that accesses the data only via one-dimensional robust statistics, then the resulting local sensitivity can be dramatically reduced. Using resilience, we can provide tight local sensitivity bounds. These tight bounds readily translate into near-optimal utility guarantees in several cases. We give a general recipe for applying HPTR to a given instance of a statistical estimation problem and demonstrate it on canonical problems of mean estimation, linear regression, covariance estimation, and principal component analysis. We introduce a general utility analysis technique that proves that HPTR nearly achieves the optimal sample complexity under several scenarios studied in the literature.

연구 동기 및 목표

• 최소한의 가정 하에 비차별적 추정의 통계적 효율성을 특성화하는 데 있어 빈도가 있는 격차를 메우기 위해.
• 고차원 추정 문제에 일반적으로 적용 가능한 통합 프레임워크를 개발하여 고차원 모멘트나 매개변수의 범위에 대한 지식이 필요 없도록 하기 위해.
• 지수 기반 메커니즘에서 일차원 강건 통계를 통해 局부 민감도를 최소화함으로써 날카운 utility 보장을 달성하기 위해.
• 평균 추정, 선형 회귀, 공분산, 주성분 분석과 같은 표준 문제에 프레임워크를 적용하는 일반적인 방법을 제공하기 위해.
• 서브가우시안, 초수축성, 유계 공분산 분포에 대해 HPTR가 거의 최적의 표본 복잡도를 달성함을 입증하기 위해.

제안 방법

• 국소 민감도를 감소시키기 위해 강건한 일차원 통계 기반의 점수 함수를 사용하는 지수 기반 메커니즘을 활용한다.
• 보조 점수 함수 설계 및 민감도 분석을 이끌기 위해 내성(resilience)을 핵심 개념으로 도입한다.
• 후보 추정치를 검증하기 위해 제안-검증-해제 메커니즘을 적용하여 비밀성과 유효성을 보장한다.
• 유계 체적과 내성 성질을 사용하여 날카운 국소 민감도 한계를 유도한다.
• 패킹 주장과 테스트 감소를 사용하여 추정 문제를 가설 검정 문제로 환원하여 하한을 증명한다.
• 안전 마진과 내성 기반 강건성 보장을 통해 유효성 분석을 일반화한다.

실험 결과

연구 질문

• RQ1 일관된 프레임워크가 다양한 문제 유형에 대해 고차원 비차별적 추정에서 거의 최적의 표본 복잡도를 달성할 수 있는가?
• RQ2 강건 통계에서의 내성은 국소 민감도를 제한하고 비차별적 알고리즘의 유효성을 향상시키는 데 어떻게 활용될 수 있는가?
• RQ3 비차별적 추정에서 최적의 통계적 효율성을 달성하기 위해 필요한 최소한의 가정은 무엇인가?
• RQ4 데이터 접근을 일차원 강건 통계로 제한함으로써 지수 기반 메커니즘을 고차원에서 효율적으로 만들 수 있는가?
• RQ5 효율적 알고리즘과 최적 알고리즘 사이의 표본 복잡도 격차는 본질적인가, 아니면 극복될 수 있는가?

주요 결과

• HPTR는 $ O(d/\beta^2 + d/(\beta \tfrac{1}{\beta})) $개의 표본을 사용하여 서브가우시안 평균 추정에서 거의 최적의 표본 복잡도를 달성하며, 정보 이론적 하한과 로그 인자 외에는 일치한다.
• 초수축성 분포에 대해서는 HPTR가 $ O(d/\beta^2 + d/(\beta \tfrac{1}{\beta})) $개의 표본으로 오차 $ \tilde{O}(\beta) $를 달성하여 타당성을 입증한다.
• 이 프레임워크는 일반적인 유효성 분석을 제공하여, 가우시안 및 공분산 유계 가족을 포함한 여러 분포에서 HPTR가 거의 최적의 표본 복잡도를 달성함을 증명한다.
• 내성은 날카운 국소 민감도 한계를 가능하게 하며, 이는 고차원 설정에서 특히 유용한 유효성 보장을 직접적으로 이끌어낸다.
• 분석 결과, 평균 추정에서 효율적 알고리즘과 최적 알고리즘 사이의 $ d^{1/2} $ 격차는 본질적인 것으로 보이며, HPTR가 최적의 $ O(d/(\beta \tfrac{1}{\beta})) $ 항을 달성함을 보여준다.
• 패킹과 테스트 감소를 통한 하한 유도 결과, HPTR의 유효성은 $ (\tfrac{1}{\beta}, \tfrac{1}{\beta}) $-DP 조건 하에서도 거의 최적임을 확인하며, $ k $-번째 모멘트가 유계인 분포에 대해 오차가 $ \tilde{\theta}((d \tfrac{1}{\beta})^{1-2/k}) $로 스케일링됨을 보여준다.