[논문 리뷰] Classification under local differential privacy

Thomas B. Berrett, Cristina Butucea|arXiv (Cornell University)|2019. 12. 10.

Privacy-Preserving Technologies in Data참고 문헌 14인용 수 9

한 줄 요약

이 논문은 유클리드 공간에서의 이元분류를 위한 비상호작용적이고 $\alpha$-국소적 미분적 보안성 메커니즘을 제안하고, 이러한 보안 제약 조건 하에서 보편적으로 일致하는 분류기 구축을 한다. 비밀성 수준 $\alpha$, 차원 $d$, 부드러움 정도 $\beta$, 마진 조건 파라미터 $\gamma$에 대한 명시적 의존성을 포함하여, 비밀성 제약 조건 하에서 비밀성의 통계적 비용을 보여주는, 비사용자 설정 상황보다 느린 최대한의 수렴 속도를 확립한다.

ABSTRACT

We consider the binary classification problem in a setup that preserves the privacy of the original sample. We provide a privacy mechanism that is locally differentially private and then construct a classifier based on the private sample that is universally consistent in Euclidean spaces. Under stronger assumptions, we establish the minimax rates of convergence of the excess risk and see that they are slower than in the case when the original sample is available.

연구 동기 및 목표

• 국소적 미분적 보안성(LDP) 하에서의 이원분류에 대한 통계적 추론 프레임워크의 부족을 해결하기 위해.
• 유클리드 공간에서의 분류 작업에 적합한 비상호작용적이고 $\alpha$-LDP 보안 메커니즘을 개발하기 위해.
• 보안 메커니즘 하에서 보편적으로 일치하는 분류기를 구축하기 위해.
• LDP 하에서 초과 위험의 최대한 수렴 속도를 유도하여, 비밀성의 통계적 비용을 정량화하기 위해.
• 부드러움($\beta$), 마진 조건($\gamma$), 비밀성 수준($\alpha$)이 추정 정확도에 미치는 영향을 규명하기 위해.

제안 방법

• 각 데이터 포인트 $(X_i, Y_i)$가 독립적으로 $\alpha$-LDP를 만족하는 마코프 커널 $Q_i$를 통해 비밀리에 처리되는 비상호작용적 보안 메커니즘을 제안한다.
• 보안성과 부드러움을 확보하기 위해 작은 상수 $C_\phi$로 스케일링된 유계이고 헬더 연속 함수 $\phi$를 사용하는 보안 메커니즘을 정의한다.
• 비밀리에 처리된 데이터 $Z_1, \dots, Z_n$만을 기반으로 하는 분류기를 구성하여 $\mathbb{R}^d$에서 보편적 일致성을 확보한다.
• 인덱스 $\sigma \in \{-1,+1\}^m$에 따라 $2^m$개의 분포 $P_\sigma$를 가지는 테스트 프레임워크를 정의하며, 각각의 분포는 고유한 회귀 함수 $\eta_\sigma$를 가진다.
• 우도 비율의 경계와 총 변동 거리($d_{\text{TV}}$)를 사용하여 $d_{\text{TV}}(M_{+k}^{(n)}, M_{-k}^{(n)})$를 통해 초과 위험의 하한을 도출한다.
• 핀스커의 부등식과 두치 등(2013)의 KL 발산 경계를 적용하여 비밀성 손실과 통계적 추정 오차 간의 관계를 규명한다.

실험 결과

연구 질문

• RQ1 유클리드 공간에서 국소적 미분적 보안성 하에서 보편적으로 일치하는 분류기를 구성할 수 있는가?
• RQ2 $\alpha$-LDP 하에서의 이원분류에서 초과 위험의 최대한 수렴 속도는 무엇인가?
• RQ3 비밀성 수준 $\alpha$는 비사용자 설정 상황과 비교하여 분류의 통계적 효율성에 어떻게 영향을 미치는가?
• RQ4 부드러움($\beta$)과 마진($\gamma$) 조건은 비밀성 제약 조건 하에서 최대한 수렴 속도에 어떤 역할을 하는가?
• RQ5 분류에서 비밀성과 통계적 정확도 사이에 기본적인 상충 관계가 존재하는가? 만약 그렇다면, 그 관계는 어떻게 정량화되는가?

주요 결과

• 비상호작용적이고 $\alpha$-LDP 보안 메커니즘을 구성하여, $\mathbb{R}^d$에서 분류 작업을 수행하는 동안 보안성을 유지하면서도 보편적 일치성을 확보한다.
• 초과 위험의 최대한 수렴 속도가 $(n\alpha^2)^{-\frac{\beta(1+\gamma)}{2\beta+2d}}$의 순서임을 입증하였으며, 이는 전통적인 비사용자 설정 상황보다 느린 속도임을 보여준다.
• 이 속도는 부드러움 $\beta \in [0,1]$, 마진 파라미터 $\gamma$, 차원 $d$, 비밀성 수준 $\alpha$에 의존한다.
• 하한은 $m \approx q^{d-\beta\gamma}$인 $2^m$개의 분포에 대한 테스트 프레임워크를 사용하여 유도되었으며, $q$는 비밀성과 추정 오차를 균형 있게 조정하기 위해 조정된다.
• 분석을 통해 비밀성의 기본적인 통계적 비용이 확인된다: 최적 설계 하에서도 비밀성 제약 조건으로 인해 수렴 속도가 떨어지며, 이는 $n\alpha^2$에 명시적인 의존성을 가진다.
• 표준 가정 하에서 성립하며, 이는 회귀 함수의 헬더 연속성과 파라미터 $\gamma$를 가진 마진 조건이 포함된다.