[논문 리뷰] How to Make Your Approximation Algorithm Private: A Black-Box Differentially-Private Transformation for Tunable Approximation Algorithms of Functions with Low Sensitivity

Jeremiah Blocki, Elena Grigorescu외 2명|arXiv (Cornell University)|2022. 10. 07.

Advanced Data Storage Technologies인용 수 2

한 줄 요약

이 논문은 전역 감도가 낮은 조정 가능한 근사 알고리즘을 위한 블랙박스 차별적 비밀보장 변환을 제안하며, 이는 차별적 비밀보장 하에 선형 시간 이하 및 선형 공간 이하의 알고리즘을 가능하게 한다. 스무스 감도와 후처리를 활용하여 (ε, δ)-차별적 비밀보장 성능을 달성하며, 승수 근사 보장이 있는 알고리즘을 제공함으로써 삼각형 수 계산, 연결 요소 수 계산, 최소 스패닝 트리 가중치 추정에 대해 알려진 바 없는 ε-차별적 비밀보장 선형 시간 이하 알고리즘을 얻는다. 또한 Lp-노름과 고유 원소 수 추정에 대한 슬라이딩 윈도우 알고리즘을 비밀보장한다.

ABSTRACT

We develop a framework for efficiently transforming certain approximation algorithms into differentially-private variants, in a black-box manner. Specifically, our results focus on algorithms A that output an approximation to a function f of the form $(1-a)f(x)-k \leq A(x) \leq (1+a)f(x)+k$, where $k \in \mathbb{R}_{\geq 0}$ denotes additive error and $a \in [0,1)$ denotes multiplicative error can be``tuned" to small-enough values while incurring only a polynomial blowup in the running time/space. We show that such algorithms can be made DP without sacrificing accuracy, as long as the function f has small global sensitivity. We achieve these results by applying the smooth sensitivity framework developed by Nissim, Raskhodnikova, and Smith (STOC 2007). Our framework naturally applies to transform non-private FPRAS and FPTAS algorithms into $ε$-DP approximation algorithms where the former case requires an additional postprocessing step. We apply our framework in the context of sublinear-time and sublinear-space algorithms, while preserving the nature of the algorithm in meaningful ranges of the parameters. Our results include the first (to the best of our knowledge) $ε$-edge DP sublinear-time algorithm for estimating the number of triangles, the number of connected components, and the weight of a minimum spanning tree of a graph. In the area of streaming algorithms, our results include $ε$-DP algorithms for estimating Lp-norms, distinct elements, and weighted minimum spanning tree for both insertion-only and turnstile streams. Our transformation also provides a private version of the smooth histogram framework, which is commonly used for converting streaming algorithms into sliding window variants, and achieves a multiplicative approximation to many problems, such as estimating Lp-norms, distinct elements, and the length of the longest increasing subsequence.

연구 동기 및 목표

• 비밀보장되지 않은 근사 알고리즘을 일반적이고 블랙박스 방식으로 차별적 비밀보장 변형으로 변환할 수 있는 방법을 개발한다.
• 선형 시간 이하 및 선형 공간 이하 알고리즘과 같은 자원 제약 조건에서 정확성과 효율성을 유지한다.
• 조정 가능한 승수 오차 및加수 오차를 가진 근사 알고리즘에 대해 차별적 비밀보장을 가능하게 한다.
• 슬라이딩 윈도우 워크로드에 대해 스무스 히스토GRAM 프레임워크를 차별적 비밀보장 환경으로 확장한다.
• 원래 알고리즘의 효율성이나 근사 품질을 희생시키지 않고 의미 있는 비밀보장-정확도 트레이드오프를 달성한다.

제안 방법

• Nissim, Raskhodnikova, and Smith (STOC 2007)의 스무스 감도 프레임워크를 적용하여 국소 감도에 기반한 노이즈 주입을 제어한다.
• 함수 f의 전역 감도에 비례하여 노이즈를 추가함으로써 임의의 (1±α)f(x)±κ 근사 알고리즘을 차별적 비밀보장 변형으로 변환한다.
• 후처리를 통해 출력을 정밀하게 다듬고 정확도를 향상시킨다. 특히 FPRAS 및 FPTAS 알고리즘에서 유용하다.
• 스트리밍 알고리즘을 슬라이딩 윈도우 변형으로 전환하기 위해 스무스 히스토그램 프레임워크를 통합한다.
• 하나의 샘플링 및 복합 기법을 통해 비밀보장 강화를 실현하여 (ε, δ)-차별적 비밀보장을 소규모 ε 및 δ 값으로 달성한다.
• α, ε, δ 및 윈도우 크기 W와 같은 매개변수를 조정하여 비밀보장, 정확도, 공간/시간 복잡도 간의 균형을 이룬다.

실험 결과

연구 질문

• RQ1 블랙박스 변환을 통해 비밀보장되지 않은 근사 알고리즘을 정확성과 효율성을 유지하면서 차별적 비밀보장으로 변환할 수 있는가?
• RQ2 함수 f와 알고리즘 A에 대해 어떤 충분한 조건이 존재해야 비밀보장 변환이 원래의 근사 보장을 유지하는가?
• RQ3 스무스 감도 프레임워크는 선형 시간 이하 및 스트리밍 알고리즘에 효과적으로 적용되어 최소한의 오버헤드로 차별적 비밀보장을 달성할 수 있는가?
• RQ4 스무스 히스토그램 프레임워크는 슬라이딩 윈도우 워크로드에서 차별적 비밀보장을 지원하도록 어떻게 확장할 수 있는가?
• RQ5 낮은 전역 감도를 가진 근사 문제에 대해 (ε, δ)-차별적 비밀보장을 달성하기 위해 필요한 최소 공간 및 시간 비용은 무엇인가?

주요 결과

• 이 프레임워크는 그래프에서 삼각형 수, 연결 요소 수, 최소 스패닝 트리 가중치 추정에 대해 알려진 바 없는 ε-차별적 비밀보장 선형 시간 이하 알고리즘을 달성한다.
• Lp-노름, Fp 모멘트, 고유 원소 수 추정에 대해 슬라이딩 윈도우 알고리즘으로서 첫 번째 ε-차별적 비밀보장 알고리즘을 제공하며, 승수 (1±α) 근사와 O(log m / ε) 이내의 가수 오차를 보장한다.
• 고유 원소 수 추정의 경우, O(1/α³η³ log⁵ n) 비트의 공간을 사용하며, 비밀보장 매개변수 ε는 일정하고 δ = 1/mᶜ이다.
• Lp-노름 추정의 경우 (p ∈ (0,2]), 공간 복잡도는 p=2일 때 ˜O(1/α²η² log⁵ n log³(1/αη))이며, p∈(0,2)일 때는 ˜O(1/α²η² log⁵ n)이며, 높은 확률로 정확도를 확보한다.
• 프레임워크는 스무스 히스토그램 프레임워크의 비밀보장 버전을 가능하게 하며, 가장 긴 증가 부분수열 및 슬라이딩 윈도우 내 고유 원소 수 추정과 같은 문제에 대해 승수 근사 보장을 지원한다.
• 실행 시간과 공간 복잡도에 대해 다항식 수준의 증가만 발생하며, 낮은 전역 감도 조건 하에서 원래 알고리즘의 근사 품질을 유지한다.