[논문 리뷰] The Sparse Vector Technique, Revisited

Haim Kaplan, Yishay Mansour외 1명|arXiv (Cornell University)|2020. 10. 02.

Privacy-Preserving Technologies in Data참고 문헌 29인용 수 4

한 줄 요약

이 논문은 미분적 비밀보장성에서 희소 벡터 기법을 재검토하며, 변화하는 데이터 스트림에서 더 나은 오차 보장을 갖는 새로운 알고리즘인 ThresholdMonitorEvolving를 도입한다. 전체 쿼리 편차가 아닌 개별 사용자 기여도에 초점을 맞춤으로써, 오차가 한 사용자가 헤비히터를 차지하는 최대 횟수에 비례하도록 설계되어, 이동하는 헤비히터 워크로드에서 더 강력한 유틸리티를 달성한다.

ABSTRACT

We revisit one of the most basic and widely applicable techniques in the literature of differential privacy - the sparse vector technique [Dwork et al., STOC 2009]. This simple algorithm privately tests whether the value of a given query on a database is close to what we expect it to be. It allows to ask an unbounded number of queries as long as the answer is close to what we expect, and halts following the first query for which this is not the case. We suggest an alternative, equally simple, algorithm that can continue testing queries as long as any single individual does not contribute to the answer of too many queries whose answer deviates substantially form what we expect. Our analysis is subtle and some of its ingredients may be more widely applicable. In some cases our new algorithm allows to privately extract much more information from the database than the original. We demonstrate this by applying our algorithm to the shifting heavy-hitters problem: On every time step, each of $n$ users gets a new input, and the task is to privately identify all the current heavy-hitters. That is, on time step $i$, the goal is to identify all data elements $x$ such that many of the users have $x$ as their current input. We present an algorithm for this problem with improved error guarantees over what can be obtained using existing techniques. Specifically, the error of our algorithm depends on the maximal number of times that a single user holds a heavy-hitter as input, rather than the total number of times in which a heavy-hitter exists.

연구 동기 및 목표

• 동적 데이터 환경에서의 비밀보장 쿼리 응답 유틸리티를 향상시키기 위해, 특히 이동하는 헤비히터 워크로드에 초점을 맞춘다.
• 기존의 희소 벡터 기법이 의미 있는 쿼리 총수에 따라 성능이 떨어지는 한계를 해결하기 위해 노력한다.
• 개별 사용자 기여도를 추적하여 비밀보장을 유지하면서도 더 정보적인 응답을 가능하게 하는 새로운 알고리즘을 설계한다.
• 전체 헤비히터 발생 횟수가 아니라 한 사용자가 헤비히터를 차지하는 최대 횟수에 따라 오차 경계를 개선함으로써, 이동하는 헤비히터 문제에서 더 나은 오차 경계를 달성한다.

제안 방법

• 변화하는 데이터 스트림에 적합하게 희소 벡터 기법을 응용하는 새로운 비밀보장 알고리즘인 ThresholdMonitorEvolving를 제안한다.
• 전체 쿼리 편차가 아닌 개별 사용자 기여도에 따라 동적으로 조정되는 수정된 임계값 기반 메커니즘을 사용한다.
• 데이터 변화에도 불구하고 고정된 데이터베이스를 시뮬레이션하는 가상의 게임 기반 분석(FicGame)을 활용하여 $(\varepsilon,\delta)$-미분적 비밀보장을 증명한다.
• Laplace 기반 메커니즘을 적용하며, 노이즈의 척도를 $\tilde{O}(\sqrt{k^*}/\varepsilon)$로 설정한다. 여기서 $k^*$는 어떤 한 사용자가 헤비히터를 차지하는 최대 횟수이다.
• 오차 의존성을 의미 있는 쿼리 총수에서 한 사용자당 헤비히터 발생 빈도의 최대값으로 줄인다.
• 변화하는 데이터 스트림을 정적 데이터베이스 게임으로 매핑하여, 조합 및 고급 분석 기법을 활용해 비밀보장 보장을 유지한다.

실험 결과

연구 질문

• RQ1 희소 벡터 기법을 재구성하여 동적 데이터 환경에서 더 비밀스럽고 정보적인 쿼리 응답을 가능하게 할 수 있는가?
• RQ2 전체 쿼리 편차가 아닌 개별 사용자 기여도에 초점을 맞추는 것이 비밀보장 계산에서 유틸리티를 향상시키는가?
• RQ3 이동하는 헤비히터 문제에서 오차 경계를 전체 발생 횟수가 아니라 한 사용자당 최대 빈도에 기반시켜 개선할 수 있는가?
• RQ4 변화하는 데이터 워크로드에서 무제한의 쿼리 시퀀스를 허용하면서도 강력한 비밀보장 보장을 유지할 수 있는가?
• RQ5 새로운 알고리즘이 기존 기법보다 이동하는 헤비히터 환경에서 더 나은 오차 스케일링을 달성할 수 있는가?

주요 결과

• 제안된 알고리즘은 이동하는 헤비히터 문제에 대해 오차 $O(\tau(k^*))$ 를 달성한다. 여기서 $\tau(k^*) = \tilde{O}\left(\frac{\sqrt{k^*}}{\varepsilon} \cdot \log\left(\frac{1}{\delta}\right) \cdot \log\left(\frac{m \cdot |X|}{\beta}\right)\right)$ 이고, $k^*$ 는 어떤 한 사용자가 헤비히터를 차지하는 최대 횟수이다.
• 오차는 헤비히터가 존재하는 전체 시간 단위의 총수 대신, 한 사용자가 헤비히터를 기여하는 최대 횟수 $k^*$ 에 의존한다.
• $k^*$ 를 만족하지 않는 조건이라도 알고리즘은 $(\varepsilon,\delta)$-미분적 비밀보장을 유지하여 강력한 비밀보장 보장을 보장한다.
• 유틸리티 분석은 Laplace 노이즈의 집중성에 기반하며, 모든 노이즈 실현값이 높은 확률 $1 - \beta$ 에서 $\tau(k^*)$ 이내에 유지됨을 보장한다.
• 비밀보장 증명은 고정된 데이터베이스를 시뮬레이션하는 가상의 게임(FicGame)을 사용하여, 변화하는 실행과 정적 실행 간의 동치성을 확보한다.
• 이 방법은 개선된 오차 스케일링을 통해 무제한의 스트림에서 비밀스럽게 쿼리 응답을 가능하게 하며, 이는 이전의 조합 기반 접근 방식에 비해 상당한 향상을 보여준다.