[논문 리뷰] Calibrating Noise to Variance in Adaptive Data Analysis

Vitaly Feldman, Thomas Steinke|arXiv (Cornell University)|2017. 12. 19.

Privacy-Preserving Technologies in Data참고 문헌 24인용 수 6

한 줄 요약

이 논문은 쿼리의 분산에 따라 노이즈를 校정하는 데 기반한 새로운 안정성 개념을 제안하며, KL 발산을 이용해 적응형 데이터 분석에서 더 날카운 일반화 경계를 가능하게 한다. 제안된 알고리즘은 각 쿼리의 표준편차에 비례하여 노이즈를 스케일링하는 가우시안 노이즈를 추가함으로써, 기존의 차별적 비밀유지 방법보다 저분산 쿼리에서 훨씬 높은 정확도를 달성한다.

ABSTRACT

Datasets are often used multiple times and each successive analysis may depend on the outcome of previous analyses. Standard techniques for ensuring generalization and statistical validity do not account for this adaptive dependence. A recent line of work studies the challenges that arise from such adaptive data reuse by considering the problem of answering a sequence of "queries" about the data distribution where each query may depend arbitrarily on answers to previous queries. The strongest results obtained for this problem rely on differential privacy -- a strong notion of algorithmic stability with the important property that it "composes" well when data is reused. However the notion is rather strict, as it requires stability under replacement of an arbitrary data element. The simplest algorithm is to add Gaussian (or Laplace) noise to distort the empirical answers. However, analysing this technique using differential privacy yields suboptimal accuracy guarantees when the queries have low variance. Here we propose a relaxed notion of stability that also composes adaptively. We demonstrate that a simple and natural algorithm based on adding noise scaled to the standard deviation of the query provides our notion of stability. This implies an algorithm that can answer statistical queries about the dataset with substantially improved accuracy guarantees for low-variance queries. The only previous approach that provides such accuracy guarantees is based on a more involved differentially private median-of-means algorithm and its analysis exploits stronger "group" stability of the algorithm.

연구 동기 및 목표

• 이전 결과에 의존하는 쿼리에서 과적합 문제를 해결하기 위해.
• 데이터가 적응적으로 재사용될 때 통계적 쿼리에 대한 정확도를 향상시키기 위해.
• 차별적 비밀유지보다 분산에 따라 노이즈 스케일링을 더 잘 반영하는 안정성 개념을 개발하기 위해.
• 기존의 차별적 비밀유지 방법보다 저분산 쿼리에서 뛰어난 성능을 보이는, 쿼리 분산에 적응하는 일반화 보장을 제공하기 위해.

제안 방법

• KL 발산에 기반한 약한 안정성 개념인 ALKL(근사 KL) 안정성 도입 — 적응적으로 조합 가능.
• 데이터셋과 알고리즘 출력 간 상호정보량을 사용하여 일반화 경계 유도 — 안정성과 일반화의 연결 고리 확립.
• 각 쿼리의 경험적 분포의 표준편차에 비례하여 노이즈를 스케일링하는 노이즈 추가 알고리즘 제안.
• 쿼리 수와 표본 크기의 제곱근에 기반한 파rameterized 노이즈 분산 사용 — 쿼리별 분산에 맞게 조정.
• 최악의 쿼리에서 오차를 제어하기 위해 코시-슈바르츠 부등식과 모멘트 경계를 활용 — 노이즈 분포의 대칭성 활용.
• 오차 경계가 대칭적이고 유한하게 유지되도록 쿼리와 응답 쌍의 변환을 적용하여 알고리즘 분석.

실험 결과

연구 질문

• RQ1 KL 발산에 기반한 안정성 개념이 적응형 데이터 분석에서 차별적 비밀유지보다 더 날카운 일반화 경계를 제공할 수 있는가?
• RQ2 쿼리 분산에 따라 노이즈를 캘리브레이션하면 적응형 쿼리 워크로드에서 정확도를 향상시킬 수 있는가?
• RQ3 적응성 보장을 훼손하지 않고 저분산 쿼리에 대해 더 날카운 오차 경계를 달성할 수 있는가?
• RQ4 데이터셋과 출력 간 상호정보량을 사용하여 적응 설정에서 의미 있는 일반화 경계를 도출할 수 있는가?
• RQ5 분산 인지 노이즈 메커니즘은 기존의 고정 스케일 노이즈를 추가하는 차별적 비밀유지 메커니즘보다 오차 스케일링 측면에서 뛰어나게 작용하는가?

주요 결과

• 제안된 ALKL 안정성 개념은 데이터셋과 알고리즘 출력 간 상호정보량에 대한 경계를 암시하며, 더 날카운 일반화 보장을 가능하게 한다.
• 최악의 쿼리에 대해 일반화 오차 경계가 $ O\big(\tau \big) $ 로 유도되며, 여기서 $ \tau = \sqrt{\frac{\sqrt{2k\ln(2k)}}{n}} $ 이다.
• 표준편차 $ \mathrm{sd}(\psi_j) $ 와 $ \tau^2 $ 로 정규화한 기대 오차는 4 이내로 제한되어 있어 상대 오차에 대한 강력한 통제를 보여준다.
• 저분산 쿼리에서는 기존의 고정 스케일 노이즈를 추가하는 표준 차별적 비밀유지 방법보다 훨씬 높은 정확도를 제공한다.
• 메디안 오브 메지언 방법의 복잡성을 피하면서도 저분산 쿼리에 대해 유사하거나 더 뛰어난 정확도를 달성한다.
• 분석 결과, 분산 인지 노이즈 스케일링이 적응 설정에서 최적 또는 근접 최적의 오차 스케일링을 이끌어낸다.