[논문 리뷰] Robustness Implies Privacy in Statistical Estimation

Samuel B. Hopkins, Gautam Kamath외 2명|arXiv (Cornell University)|2022. 12. 09.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 고차원 통계에서 비밀성 보장된 추정으로의 첫 번째 블랙박스 감소를 제안하며, 거의 최적의 샘플-정확도-비밀성 트레이드오프를 갖는 다항시간 비밀성 보장 추정기들을 고차원 정규분포의 평균과 공분산에 대해 가능하게 한다. 소스 오브 슈아어(Sum-of-Squares) 방법에 기반한 강건한 추정기들을 활용함으로써, 비밀성과 강건성 둘 다 동시에 달성하며, 최적 또는 거의 최적의 성능 보장을 확보한다.

ABSTRACT

We study the relationship between adversarial robustness and differential privacy in high-dimensional algorithmic statistics. We give the first black-box reduction from privacy to robustness which can produce private estimators with optimal tradeoffs among sample complexity, accuracy, and privacy for a wide range of fundamental high-dimensional parameter estimation problems, including mean and covariance estimation. We show that this reduction can be implemented in polynomial time in some important special cases. In particular, using nearly-optimal polynomial-time robust estimators for the mean and covariance of high-dimensional Gaussians which are based on the Sum-of-Squares method, we design the first polynomial-time private estimators for these problems with nearly-optimal samples-accuracy-privacy tradeoffs. Our algorithms are also robust to a nearly optimal fraction of adversarially-corrupted samples.

연구 동기 및 목표

• 샘플 복잡도, 정확도, 비밀성 간의 최적 트레이드오프를 갖는 계산적으로 효율적인 고차원 비밀성 보장 추정 알고리즘의 격차를 메운다.
• 통계적 추정에서 적대적 강건성과 비밀성 보장 간의 공식적 연결 고리를 수립한다.
• 비밀성 보장 보장을 만족하면서도 손상된 데이터에 대한 강건성을 유지하는 비밀성 보장 추정기를 설계한다.
• 소스 오브 슈아어 기반 강건한 추정기의 유리한 구조적 성질을 활용하여 비밀성 보장 추정기의 다항시간 계산을 가능하게 한다.
• 고차원에서의 기본 문제들인 평균 및 공분산 추정에 대해 거의 최적의 비밀성-정확도-샘플 복잡도 트레이드오프를 달성한다.

제안 방법

• 모든 강건한 추정기를 비밀성 보장된 추정기로 변환하는 블랙박스 감소를 제안하며, 정확도 및 샘플 복잡도 보장을 유지한다.
• 불완전한 오라클을 사용한 부피 계산 기반의 비밀성 보장 샘플링 알고리즘을 사용하여 잘 둥글어진 볼록체에서 비밀성 보장 샘플을 생성한다.
• 소스 오브 슈아어(SoS) 방법에서 유도된 강건한 추정기에 감소를 적용함으로써, 결과적으로 얻어진 비밀성 보장 추정기의 다항시간 구현을 가능하게 한다.
• 적대적 오염 하에서 모멘트(1차 및 2차)의 내성 성질을 활용하여 비밀성 보장 추정기의 안정성을 확보한다.
• 스코어 함수와 행렬 농도 경계를 사용하여 오류 전파를 통제하고 최종 출력의 비밀성과 정확도를 보장한다.
• 기본 조합 정리들을 사용하여 여러 비밀성 보장 추정 단계(예: 평균, 공분산, 사전 조정)를 결합하며, 비밀성 예산과 실패 확률을 통제 가능한 수준으로 증가시킨다.

실험 결과

연구 질문

• RQ1 강건한 추정을 체계적으로 활용하여 고차원 환경에서 최적의 트레이드오프를 갖는 비밀성 보장 추정기를 구성할 수 있는가?
• RQ2 강건한 추정기의 내부 구조에 대한 액세스 없이도, 블랙박스 방법을 통해 강건한 추정기를 비밀성 보장 추정기로 변환할 수 있는 조건는 무엇인가?
• RQ3 기본 강건한 추정기가 소스 오브 슈아어 방법에 기반할 경우, 결과로 얻어진 비밀성 보장 추정기는 효율적으로(다항시간 내에) 계산될 수 있는가?
• RQ4 더 강력한 강건성 성질을 사용할 경우, 비밀성 보장이 강화되거나 유한한 매개변수 공간 가정이 제거될 수 있는가?
• RQ5 결과로 얻어진 비밀성 보장 추정기의 비밀성과 정확도 트레이드오프는 고차원 평균 및 공분산 추정에 대한 알려진 하한과 비교해 볼 때 어떻게 되는가?

주요 결과

• 논문은 비밀성 보장으로의 강건성으로의 블랙박스 감소를 확립하여, 고차원 평균 및 공분산 추정에 대해 최적 또는 거의 최적의 샘플-정확도-비밀성 트레이드오프를 갖는 비밀성 보장 추정기를 가능하게 한다.
• 소스 오브 슈아어 방법에 기반한 거의 최적의 다항시간 강건한 추정기에 적용했을 때, 이 감소는 고차원 정규분포 평균 및 공분산에 대해 거의 최적의 트레이드오프를 갖는 첫 번째 다항시간 비밀성 보장 추정기를 도출한다.
• 결과로 얻어진 비밀성 보장 추정기는 적대적으로 손상된 샘플의 일정 비율에 대해 강건하며, 기반 추정기의 강건성을 이어받는다.
• 기본 강건한 추정기가 더 강력한 최악의 경우 강건성 성질을 만족할 경우, 유한한 매개변수 공간 가정이 제거되며, 순수 비밀성 보장에서 약간의 비밀성 보장으로 약화되는 비용을 지ay한다.
• 조합으로 인해 비밀성 예산과 실패 확률이 3배 증가하지만, 샘플 복잡도는 파ip라인의 가장 요구가 높은 구성 요소에 의해 지배된다.
• 최종 추정기는 진짜 정규분포와의 전체 변화 거리 오차가 $ O(\alpha) $이며, 추정된 공분산 행렬과 진짜 공분산 행렬 간의 마할라노비스 거리 오차도 $ O(\alpha) $이다.