[논문 리뷰] Collect at Once, Use Effectively: Making Non-interactive Locally Private Learning Possible

Kai Zheng, Wenlong Mou외 1명|arXiv (Cornell University)|2017. 06. 11.

Privacy-Preserving Technologies in Data참고 문헌 20인용 수 14

한 줄 요약

이 논문은 기본 추정을 초월하는 비상호작용 국소적 개인 정보 보호 학습을 위한 최초의 효율적 알고리즘을 제안하며, 부드러운 일반선형 모델에서 기울기를 근사하기 위해 체비셰프 전개를 사용하고 고차원 희소 복원을 위해 무작위 투영을 적용한다. 초과 위험에 대해 준다항식 표본 복잡도를 달성하여 차원에 대해 로그적 의존도를 가지며 강력한 개인 정보 보호 제약 조건 하에서도 효과적인 학습을 가능하게 한다.

ABSTRACT

Non-interactive Local Differential Privacy (LDP) requires data analysts to collect data from users through noisy channel at once. In this paper, we extend the frontiers of Non-interactive LDP learning and estimation from several aspects. For learning with smooth generalized linear losses, we propose an approximate stochastic gradient oracle estimated from non-interactive LDP channel, using Chebyshev expansion. Combined with inexact gradient methods, we obtain an efficient algorithm with quasi-polynomial sample complexity bound. For the high-dimensional world, we discover that under $\ell_2$-norm assumption on data points, high-dimensional sparse linear regression and mean estimation can be achieved with logarithmic dependence on dimension, using random projection and approximate recovery. We also extend our methods to Kernel Ridge Regression. Our work is the first one that makes learning and estimation possible for a broad range of learning tasks under non-interactive LDP model.

연구 동기 및 목표

• 일반선형모형과 고차원 희소 회귀와 같은 광범위한 기계학습 작업을 위한 비상호작용 국소적 개인 정보 보호 학습을 가능하게 하기 위해.
• 국소적 차별적 프라이버시 하에서 순수하게 노이즈가 섞인 비상호작용 데이터 수집으로부터 정확한 추정치를 확보하는 데 있어 근본적인 과제를 극복하기 위해.
• 비상호작용 LDP 하에서 고차원 희소 추정에 대해 차원에 대해 로그적 의존도를 가지는 효율적인 메커니즘을 설계하기 위해.
• 비상호작용 LDP 하에서 부드러운 일반선형 손실을 가진 학습에 대해 이론적 표본 복잡도 경계를 확립하기 위해.
• 비모수 모델인 커널 리지 회귀와 같은 비상호작용 LDP의 적용 범위를 확장하기 위해.

제안 방법

• 비상호작용 국소적 개인 정보 보호 데이터로부터 체비셰프 다항식 전개를 사용해 근사적인 확률적 기울기 오라클을 구성한다.
• 개인 정보 보호 기울기 오라클을 사용하여 부드러운 일반선형 손실을 최적화하기 위해 근사 기울기 강하 방법을 적용한다.
• LDP 하에서 고차원 희소 신호의 효율적 복원을 가능하게 하기 위해 차원을 감소시키기 위해 무작위 투영을 활용한다.
• 기존의 근사 기울기 강하 방법(예: SIGM 알고리즘)과 개인 정보 보장 체비셰프 근사를 결합하여 수렴을 보장한다.
• 체비셰프 근사를 통한 기울기 추정 오차와 개인 정보 보장 조건 분석을 통해 표본 복잡도 경계를 유도한다.
• 동일한 개인 정보 보장 기울기 추정 기법을 활용하여 커널 리지 회귀로 프레임워크를 확장한다.

실험 결과

연구 질문

• RQ1 비상호작용 국소적 개인 정보 보호 학습이 비편향 기울기 추정치가 없는 상황에서도 부드러운 일반선형 모델에 대해 실현 가능하게 만들 수 있는가?
• RQ2 비상호작용 LDP 환경에서 일반선형 모델에 대해 주어진 초과 위험을 달성하기 위한 최적의 표본 복잡도는 무엇인가?
• RQ3 비상호작용 LDP 하에서 고차원 희소 선형 회귀는 차원에 대해 로그적 의존도를 가지며 해결될 수 있는가?
• RQ4 국소적 프라이버시 제약 조건 하에서 체비셰프 근사를 사용해 효율적인 개인 정보 보장 기울기 추정을 어떻게 달성할 수 있는가?
• RQ5 비상호작용 LDP 학습을 커널 리지 회귀와 같은 비모수 모델으로 확장할 수 있는가?

주요 결과

• 제안된 방법은 부드러운 일반선형 모델에서 초과 위험 $ \alpha $ 를 달성하기 위해 형식 $ O\big((8r/\alpha)^{4r\ln\ln(8r/\alpha)} (4r/\epsilon)^{2cr\ln(8r/\alpha)+2} (1/\alpha^2\epsilon^2) \big) $ 의 준다항식 표본 복잡도 경계를 달성한다.
• 고차원 희소 선형 회귀 및 평균 추정에 대해, 이론적으로 예상되는 바와 같이 차원 $ d $ 에 대해 로그적 의존도를 가지는 초과 위험를 달성한다.
• 체비셰프 전개의 사용은 통제 가능한 오차로 기울기 추정을 개인 정보 보장적으로 가능하게 하며, 근사 기울기 강하를 위한 유효한 $ (\gamma, \beta, \sigma) $ 확률적 오라클을 형성한다.
• 프레임워크는 동일한 표본 복잡도 보장을 가지며, 부드러운 일반선형 모델의 대표적인 예인 로지스틱 회귀로도 성공적으로 확장된다.
• 커널 리지 회귀의 경우, 이론적 수렴 경계를 가지며 효과적인 개인 정보 보장 추정을 제공함으로써 비상호작용 LDP를 비모수 학습으로 확장한다.
• 결과적으로 이는 기본 분포 추정을 초월하는 광범위한 학습 작업에 대해 비상호작용 국소적 개인 정보 보호 학습을 위한 최초로 알려진 접근법을 제공한다.