[논문 리뷰] Private Approximations of the 2nd-Moment Matrix Using Existing Techniques in Linear Regression

Or Sheffet|arXiv (Cornell University)|2015. 06. 30.

Privacy-Preserving Technologies in Data참고 문헌 26인용 수 18

한 줄 요약

이 논문은 선형 회귀에서 2차 모멘트 행렬을 근사하기 위한 세 가지 차별적 비밀 보장 알고리즘을 제안하며, 기존 방법들(예: Analyze Gauss)과 달리 양의 정부호성을 보장한다. 기법들은 기존의 회귀 프레임워크를 활용한다: Johnson-Lindenstrauss 변환을 통한 릿지 회귀, 위샤르 분포를 통한 가감성 랜덤 노이즈, 역위샤르 사전분포를 사용한 베이지안 사후 샘플링 — 각각 $(\epsilon,\delta)$-차별적 비밀 보장을 확보하면서도 이론적 및 실험적 검증을 통해 높은 유용성을 유지한다.

ABSTRACT

We introduce three differentially-private algorithms that approximates the 2nd-moment matrix of the data. These algorithm, which in contrast to existing algorithms output positive-definite matrices, correspond to existing techniques in linear regression literature. Specifically, we discuss the following three techniques. (i) For Ridge Regression, we propose setting the regularization coefficient so that by approximating the solution using Johnson-Lindenstrauss transform we preserve privacy. (ii) We show that adding a small batch of random samples to our data preserves differential privacy. (iii) We show that sampling the 2nd-moment matrix from a Bayesian posterior inverse-Wishart distribution is differentially private provided the prior is set correctly. We also evaluate our techniques experimentally and compare them to the existing "Analyze Gauss" algorithm of Dwork et al.

연구 동기 및 목표

• 기존의 차별적 비밀 보장 선형 회귀 방법들이 과도한 노이즈 누적로 인해 다중 회귀 문제에 효율적으로 스케일업되지 못하는 한계를 해결하기 위해.
• 2차 모멘트 행렬의 차별적 비밀 보장 근사법을 개발하여, 커널 방법이나 통계적 추론과 같은 후속 응용에서 문제가 발생하지 않도록 양의 정부호성을 보장하기 위해.
• 표준 회귀 기법들이 적절히 파rameter화되면 새로운 알고리즘 설계 없이도 차별적 비밀 보장 알고리즘을 도출할 수 있음을 보여주기 위해.
• 제안된 방법들을 Analyze Gauss 알고리즘과 이론적 및 실험적으로 비교하여, 양의 정부호성 보장을 하지 못하는 점을 고려하여 평가하기 위해.

제안 방법

• 정규화 계수 $ w $ 를 설정하여 데이터에 Johnson-Lindenstrauss (JL) 변환을 적용하고, 이는 $ \ell_2 $-정규화를 통한 릿지 회귀와 연결되며, $(\epsilon,\delta)$-차별적 비밀 보장을 보장하도록 한다.
• 개별 기여를 가림으로써 차별적 비밀 보장을 유지하기 위해 데이터 행렬에 소규모의 독립 동일분포(i.i.d.) 가우시안 샘플을 추가한다.
• 역위샤르 사전분포를 사용하여 사후분포에서 2차 모멘트 행렬을 샘플링하며, 사전분포의 초모수를 조정하여 차별적 비밀 보장을 확보한다.
• 민감도 분석과 농도 불등식을 통해 비밀 보장을 확립하며, 특히 무작위 행렬 이론(예: Wigner의 반원형 법칙, 카이제곱 尾 꼬리 경계)을 활용해 특이값과 노름을 제한한다.
• Woodbury 공식을 사용하여 진짜와 훼손된 역 그램 행렬 간의 차이를 분석하고, 회귀 계수 오차에 대한 경계를 유도한다.
• 추정된 회귀 계수 $ \widehat{\bm{\beta}} $ 와 $ \widetilde{\bm{\beta}} $ 에 대한 고확률 오차 경계를 유도하며, $ \|\widehat{\bm{\beta}} - \widetilde{\bm{\beta}}\| \leq \frac{1}{C-1}\|\widehat{\bm{\beta}}\| + \text{하위항수 항들} $ 이라는 결과를 도출한다.

실험 결과

연구 질문

• RQ1 적절히 파arameter화된 기존 선형 회귀 기법들이 2차 모멘트 행렬의 차별적 비밀 보장 근사에 활용될 수 있는가?
• RQ2 차별적 비밀 보장을 유지하면서도 출력 행렬이 양의 정부호가 되도록 보장할 수 있는 방법은 무엇인가? 이는 많은 후속 응용에 필수적인 조건이다.
• RQ3 릿지 회귀에 의한 JL 변환과 정규화 대비, 추가적인 위샤르 노이즈 또는 베이지안 사전분포를 사용할 경우, 회귀 계수 오차 측면에서의 유용성 상실은 어떠한가?
• RQ4 Analyze Gauss 알고리즘과 비교했을 때, 제안된 방법들은 비밀 보장, 양의 정부호성, 그리고 실험적 성능 측면에서 어떻게 다른가?

주요 결과

• JL 변환 기반 방법은 정규화 계수 $ w $ 를 데이터의 최소 특이값에 기반하여 설정할 경우 $(\epsilon,\delta)$-차별적 비밀 보장을 보장하며, 이는 이전의 경계에서 $ \log r $ 요소를 제거함으로써 향상된 결과를 낳는다.
• 소규모의 i.i.d. 가우시안 샘플을 데이터 행렬에 추가하면 차별적 비밀 보장이 유지되며, 결과적으로 양의 정부호 2차 모멘트 행렬이 생성되며, 측도 집중 원리에 의해 유용성이 경계된다.
• 적절히 선택된 사전분포를 사용하여 역위샤르 사후분포에서 2차 모멘트 행렬을 샘플링하는 것은 차별적 비밀 보장이 보장되며, 오차 경계는 Woodbury 항등식과 무작위 행렬 이론을 통해 도출된다.
• 이론적 분석을 통해 추정된 회귀 계수의 오차는 $ \frac{1}{C-1}\|\widehat{\bm{\beta}}\| + \mathcal{O}(\sigma^2 \sqrt{kp \log(1/\nu)}) $ 로 경계되며, 여기서 $ C $ 는 데이터의 특이값과 노이즈 파rameter에 의존한다.
• 실험적 평가 결과, 제안된 세 가지 방법 모두 Analyze Gauss 알고리즘보다 회귀 정확도와 양의 정부호성 측면에서 뛰어나며, 양의 정부호 콘의 투영 이후에도 동일한 결과를 보였다.
• 논문은 기존의 회귀 프레임워크에서의 파arameter 조정만으로도 차별적 비밀 보장을 달성할 수 있음을 보여주며, 새로운 알고리즘 설계가 필요하지 않음을 입증한다.