[논문 리뷰] Constrained Differential Privacy for Count Data

Graham Cormode, Tejas Kulkarni외 1명|arXiv (Cornell University)|2017. 10. 02.

Privacy-Preserving Technologies in Data참고 문헌 14인용 수 3

한 줄 요약

이 논문은 선형 프로그래밍을 통해 유도된 최적 기법에서 발생하는 이상 행동(예: 갭(일부 출력값을 전혀 보고하지 않음) 및 스파이크(특정 값에 대해 과도하게 보고함))을 제거하는 카운트 쿼리용 제약 조건이 부여된 차별적 프라이버시 메커니즘을 제안한다. 공정성 및 단조성과 같은 구조적 성질을 강제로 적용함으로써, 저자들은 최적 기법이 매우 적게 존재하며, 이는 새로운 기법과 잘 알려진 기하 기법을 포함한다. 실험을 통해 제약 조건이 부여된 기법이 제약 조건이 없는 기법보다 우수함을 입증하였으며, 특히 높은 프라이버시 예산과 극단적이지 않은 입력 분포에서 두드러진 성능 향상을 보였다.

ABSTRACT

Concern about how to aggregate sensitive user data without compromising individual privacy is a major barrier to greater availability of data. The model of differential privacy has emerged as an accepted model to release sensitive information while giving a statistical guarantee for privacy. Many different algorithms are possible to address different target functions. We focus on the core problem of count queries, and seek to design mechanisms to release data associated with a group of n individuals. Prior work has focused on designing mechanisms by raw optimization of a loss function, without regard to the consequences on the results. This can leads to mechanisms with undesirable properties, such as never reporting some outputs (gaps), and overreporting others (spikes). We tame these pathological behaviors by introducing a set of desirable properties that mechanisms can obey. Any combination of these can be satisfied by solving a linear program (LP) which minimizes a cost function, with constraints enforcing the properties. We focus on a particular cost function, and provide explicit constructions that are optimal for certain combinations of properties, and show a closed form for their cost. In the end, there are only a handful of distinct optimal mechanisms to choose between: one is the well-known (truncated) geometric mechanism; the second a novel mechanism that we introduce here, and the remainder are found as the solution to particular LPs. These all avoid the bad behaviors we identify. We demonstrate in a set of experiments on real and synthetic data which is preferable in practice, for different combinations of data distributions, constraints, and privacy parameters.

연구 동기 및 목표

• 기존의 차별적 프라이버시 기법에서 발생하는 이상 행동(예: 갭과 스파이크)을 해결하기 위해, 손실 함수의 비제약 최적화에서 기인하는 원인을 다루는 것.
• 기본적인 구조적 성질(예: 공정성, 약한 정직성, 단조성)을 식별하고 형식화하여 기법이 잘 조율되어 있으며 극단적인 출력 편향을 피할 수 있도록 보장하는 것.
• 이러한 성질의 조합을 선형 프로그래밍을 통해 강제로 적용할 수 있음을 보여주며, L0 손실 함수에 대해 작은 수의 최적 기법을 도출하는 것.
• 다양한 입력 분포, 군 크기, 프라이버시 파라미터에서 표준 기법(예: 기하 기법, 균일 기법)과의 실용적 성능 비교를 수행하는 것.
• 특히 높은 프라이버시 예산에서 실제 환경에서 제약 조건이 부여된 기법(신규 기법 및 제약 조건이 부여된 지수 기법 포함)이 기하 기법보다 일관되게 뛰어난 성능을 보임을 보여주는 것.

제안 방법

• 저자들은 기구 설계를 제약하고 이상 출력 분포를 방지하기 위해 공정성, 약한 정직성, 단조성 등 일곱 가지의 구조적 성질을 정의한다.
• 차별적 프라이버시를 위한 선형 프로그래밍 프레임워크를 확장하여 이러한 성질을 제약 조건으로 통합하고, 진짜 입력으로부터 d 이상 벗어나는 출력 확률인 L0 오차를 최소화한다.
• 결과적으로 얻어진 최적 기법은 원하는 성질를 강제로 적용하는 제약 조건이 포함된 선형 프로그램을 풀어 도출되며, 이는 서로 다른 최적 기법의 수가 매우 적은 집합을 이룬다.
• 논문은 공정성과 단조성 제약 조건 하에서 최적인 새로운 기법을 도입하며, 이는 기하 기법과는 다릅니다.
• 실험은 실제 및 합성 데이터를 사용하여, 입력 분포(파라미터 p로 매개변수화), 군 크기(n), 프라이버시 파rameter(α)를 다양하게 설정한 조건에서 기법을 평가하며, L0,d, L0,1 및 RMSE 오차를 측정한다.
• 평가에서는 제약 조건이 부여된 기법(EM, WM)을 기하 기법(GM) 및 균일 기법(UM)과 비교하며, 변동성이 낮아지도록 30회 반복 평균을 취한다.

실험 결과

연구 질문

• RQ1 차별적 프라이버시 기법에서 발생하는 갭과 스파이크와 같은 이상 행동을 제거하기 위해, 카운트 쿼리용 기법에 대해 구조적 제약 조건을 형식적으로 정의할 수 있는가?
• RQ2 L0 손실 함수 하에서 어떤 구조적 성질의 조합이 최적 기법을 이끌어내며, 서로 다른 최적 기법은 총 몇 개인가?
• RQ3 다양한 입력 분포와 프라이버시 예산에서 제약 조건이 부여된 기법은 널리 사용되는 기하 기법과 비교해 유용성 측면에서 어떻게 다를까?
• RQ4 공정성 또는 단조성을 강제로 적용하면 입력 분포의 비대칭성에 대한 민감도가 줄어들어, 특히 높은 프라이버시 파라미터에서 강건성이 향상되는가?
• RQ5 RMSE 및 꼬리 오차 측면에서 기하 기법이 간단한 기법들(예: 균일 기법 또는 제약 조건이 부여된 기법)보다 뒤지게 되는 조건는 무엇인가, 특히 어떤 경우에 발생하는가?

주요 결과

• 기하 기법은 높은 프라이버시 예산(α > 0.7)에서 진짜 입력 근처의 값을 자주 보고하지 않으며, 일부 경우에서는 무작위 추측보다도 성능이 열 劣할 수 있다.
• 공정성과 단조성을 강제로 적용하는 제약 조건이 부여된 기법(예: EM 및 WM)은 입력 분포가 입력 공간에 퍼져 있을 경우(즉, p가 약 0.5일 경우) 기하 기법보다 일관되게 뛰어난 성능을 보인다.
• 입력 분포가 비대칭일 경우(p가 0 또는 1에 가까울 경우), 기하 기법이 더 나은 성능을 보이지만, 제약 조건이 부여된 지수 기법은 여전히 뛰어난 성능을 유지하며, 균일 기법과 종종 기하 기법을 능가한다.
• 공정성을 강제로 적용하는 제약 조건 기법(WM)은 입력 분포의 비대칭성에 민감도가 낮아, 극단적이지 않은 경우 기하 기법보다 더 강건한 성능을 보인다.
• L0,d 오차 분석 결과, 제약 조건이 부여된 지수 기법(EM)은 꼬리 확률 질량을 크게 감소시키며, 특히 d가 클수록 이 우수성이 유지된다.