[논문 리뷰] Privacy Aware Learning

John C. Duchi, Michael I. Jordan외 1명|arXiv (Cornell University)|2012. 10. 07.

Privacy-Preserving Technologies in Data참고 문헌 50인용 수 64

한 줄 요약

이 논문은 데이터가 학습자로부터 국소적 프라이버시 메커니즘을 통해 보호되는 프라이버시 인식 학습 프레임워크를 제안하며, 프라이버시(차별적 프라이버시 파라미터로 측정됨)와 통계적 추정 유틸리티 사이의 날카로운 트레이드오프를 수립한다. 위험 최소화에 대한 수렴 속도에 대한 날카로운 상한과 하한을 도출하여, $\alpha$-차별적 프라이버시 하에서 추정 오차가 $\Theta(\sqrt{d}/\alpha)$ 비례함을 보여주며, 프라이버시와 학습 효율성 사이의 근본적인 트레이드오프를 드러낸다.

ABSTRACT

We study statistical risk minimization problems under a privacy model in which the data is kept confidential even from the learner. In this local privacy framework, we establish sharp upper and lower bounds on the convergence rates of statistical estimation procedures. As a consequence, we exhibit a precise tradeoff between the amount of privacy the data preserves and the utility, as measured by convergence rate, of any statistical estimator or learning procedure.

연구 동기 및 목표

• 학습 시스템에서 데이터 프라이버시와 통계적 추정 유틸리티 사이의 트레이드오프를 수식화하기.
• 원시 데이터가 학습자에게 도달하기 전에 흐림 처리되는 국소적 프라이버시 메커니즘이 통계 추정기의 수렴 속도에 미치는 영향을 분석하기.
• 프라이버시 제약 조건 하에서 추정 오차에 대한 최소최대 하한과 이를 충족하는 상한을 유도하기.
• 차별적 프라이버시 파라미터 $\alpha$를 통한 프라이버시 수준이 위험 최소화의 수렴 속도에 어떻게 영향을 미치는지 정량화하기.
• 볼록 손실 함수와 최적화 기반 방법을 사용하여 프라이버시 인식 학습에 대한 의사결정 이론적 기반 제공하기.

제안 방법

• 프레임워크는 볼록 손실 함수 $\ell$ 를 사용하여 컴acts한 볼록 매개변수 집합 $\Theta \subset \mathbb{R}^d$ 위에서 통계적 위험 최소화로 학습을 모델링한다.
• 원시 데이터 $X_i$ 를 관측하는 대신, 학습자는 프라이버시 유도 채널 $Q$ 를 통해 생성된 흐린 버전 $Z_i$ 만 접근한다.
• 논문은 국소적 프라이버시 모델을 사용하며, 프라이버시 보장이 차별적 프라이버시를 통해 이루어지며, 특히 최종 추정기 $\widehat{\theta}_n$ 에 대해 $\alpha$-차별적 프라이버시를 적용한다.
• 정규화된 위험 최소화 접근과 함께 미러 디센트를 적용하여, 부분도의 $\infty$-노름을 나타내는 $M_\infty$ 를 기반으로 수렴 한계를 도출한다.
• 분석은 프라이버시 메커니즘에서 유도된 제약 조건 하에서 $t$ (이를 $M_\infty$ 와 관련된 값) 를 하한으로 제시하기 위해 선형 프로그래밍을 사용하며, 이로 인해 $M_\infty \leq \sqrt{d}/(c\alpha)$ 라는 한계를 도출한다.
• 핵심 기술적 단계는 고정된 $x$ 와 양의 내적을 가지는 $z \in \{-1,1\}^d$ 의 합을 조합적 항등식과 이항계수에 대한 스타링의 근사법을 사용하여 분석하는 것이다.

실험 결과

연구 질문

• RQ1 차별적 프라이버시 파라미터 $\alpha$ 로 측정된 프라이버시와 통계 추정기의 수렴 속도 사이의 근본적인 트레이드오프는 무엇인가?
• RQ2 국소적 프라이버시 모델 하에서 프라이버시 인식 학습의 추정 오차에 대해 날카로운 상한과 하한을 설정할 수 있는가?
• RQ3 매개변수 공간의 차원 $d$ 는 위험 최소화에서 프라이버시-유틸리티 트레이드오프에 어떻게 영향을 미치는가?
• RQ4 데이터가 학습자에게 노출되기 전에 흐림 처리될 경우, $\alpha$-차별적 프라이버시 하에서 추정기의 최적 수렴 속도는 무엇인가?
• RQ5 최소최대 분석을 사용하여 특정 학습 알고리즘에 의존하지 않고 프라이버시-유틸리티 트레이드오프를 특성화할 수 있는가?

주요 결과

• 최적 위험으로의 위험 $R(\widehat{\theta}_n)$ 의 수렴 속도는 $O(\sqrt{d}/\alpha)$ 로 상한이 둘러싸지며, 하한과 일치하여 날카로운 트레이드오프를 수립한다.
• 분석은 부분도의 $\infty$-노름 $M_\infty$ 가 $O(\sqrt{d}/\alpha)$ 로 상한이 둘러싸져 있음을 보여주며, 이는 직접적으로 미러 디센트의 수렴 속도를 제어한다.
• 홀수 $d$ 에 대해, 합 $\sum_{z:\langle z,x\rangle>0} z = \binom{d-1}{(d-1)/2} x$ 는 $M_\infty$ 의 한계를 도출하는 데 사용되는 핵심 항등식이다.
• 스타링의 근사법을 사용하여, 프라이버시 채널의 차이 $q_+ - q_-$ 가 $\Omega(\alpha / \sqrt{d})$ 라는 것을 보여주며, 이는 $\sqrt{d}/\alpha$ 스케일링을 이끈다.
• 추정 오차 속도의 하한은 미러 디센트에서 유도된 상한과 일치하여 트레이드오프의 날카로움을 증명한다.
• 각 데이터 포인트가 학습 전에 흐림 처리되는 국소적 프라이버시 모델 하에서 결과가 성립하며, 프라이버시 보장은 최종 추정기에서 차별적 프라이버시를 통해 시행된다.