[논문 리뷰] Information-theoretic metrics for Local Differential Privacy protocols

Milan Lopuhaä-Zwakenberg, Boris Škorić외 1명|arXiv (Cornell University)|2019. 10. 17.

Privacy-Preserving Technologies in Data참고 문헌 54인용 수 14

한 줄 요약

이 논문은 국지적 차별적 프라이버시(LDP) 프로토콜에서 유티리티와 프라이버시를 위한 정보이론적 신규 지표를 제안하며, 사용자와 집계자 관점 간의 차이를 명확히 한다. 유티리티는 집계자의 출력과 인구 분포 간의 상호정보량으로 정의하고, 프라이버시는 집계자에게 유출되는 정보로 정의하며, 이 지표들이 표준 ε-LDP 보장을 어떻게 연결하는지 보여주고, Unary Encoding과 같은 프로토콜에서의 프라이버시-유티리티 트레이드오프를 정량적으로 분석할 수 있도록 한다.

ABSTRACT

Local Differential Privacy (LDP) protocols allow an aggregator to obtain population statistics about sensitive data of a userbase, while protecting the privacy of the individual users. To understand the tradeoff between aggregator utility and user privacy, we introduce new information-theoretic metrics for utility and privacy. Contrary to other LDP metrics, these metrics highlight the fact that the users and the aggregator are interested in fundamentally different domains of information. We show how our metrics relate to $\varepsilon$-LDP, the \emph{de facto} standard privacy metric, giving an information-theoretic interpretation to the latter. Furthermore, we use our metrics to quantitatively study the privacy-utility tradeoff for a number of popular protocols.

연구 동기 및 목표

• 기존 LDP에서의 프라이버시 및 유티리티 지표의 한계를 해결하기 위해, 사용자와 집계자의 각기 다른 관심사를 반영하는 정보이론적 대안을 제안한다.
• ε-LDP에 대한 원리적인 정보이론적 해석을 제공하여, 최악의 경우 프라이버시 보장과 평균적 정보 유출 간의 관계를 규명한다.
• 상호정보량과 엔트로피에 기반한 지표를 사용하여, 주요 LDP 프로토콜들에 대한 프라이버시-유티리티 트레이드오프의 정량적 평가를 가능하게 한다.
• 집계자의 출력과 기저 인구 분포 간의 상호정보량으로 유티리티를 정식화하여, 특정 빈도 오라클에 기인한 편향을 피한다.
• 비정보적 제퍼리스 사전(Jeffreys prior) μ를 사용해 집계자의 사전 지식을 모델링함으로써, 인구 통계의 베이지안 추정이 가능하도록 한다.

제안 방법

• 집계자의 출력 $\vec{Y}$ 와 인구 분포 $P$ 간의 상호정보량 $\operatorname{I}(\vec{Y}; P)$ 으로 정의된 새로운 유티리티 지표 $\operatorname{U}^{\text{distr}}_{n,\mu}(\mathcal{P})$ 를 제안한다.
• 사용자의 진짜 데이터와 집계자의 출력 간의 상호정보량을 조건부로 인구 통계에 둔 상태에서 정보 유출 기반의 프라이버시 지표를 정의한다.
• 집계자의 비정보적 사전 지식을 모델링하기 위해 인구 분포 $P$ 에 대한 비정보적 제퍼리스 사전 $\mu$ 를 사용하여 베이지안 추론을 가능하게 한다.
• 매개수 $\kappa, \lambda$ 를 가진 유니터리 인코딩(UE) 메커니즘 하에서 $\operatorname{I}(\vec{Y}; P)$ 의 닫힌 형태 표현식을 조합합과 베타 함수를 사용해 유도한다.
• 모든 가능한 중간 상태 $k$ 와 부분집합 구성 $m^y$ 에 대해 통합하는 함수 $F(s, \kappa, \lambda)$ 를 도입하여 출력 구성 $\vec{Y}$ 의 주변 가능도를 계산한다.
• 모든 가능한 사용자 결과 패턴과 그 확률적 조합을 고려할 때 유티리티 지표를 계산하는 데 소요되는 복잡도를 $\mathcal{O}(n^{1+(a+1)2^{a-1}})$ 로 제한한다.

실험 결과

연구 질문

• RQ1 사용자와 집계자의 각기 다른 관심사를 반영하는 정보이론적 지표를 사용해 LDP 프로토콜의 유티리티와 프라이버시를 어떻게 측정할 수 있는가?
• RQ2 표준 ε-LDP 보장과 상호정보량으로 측정된 평균적 정보 유출 간의 정보이론적 관계는 무엇인가?
• RQ3 유니터리 인코딩과 같은 다양한 LDP 프로토콜에서 집계자의 출력과 인구 분포 간의 상호정보량은 어떻게 변화하는가?
• RQ4 매개수 $\kappa, \lambda$ 를 가진 유니터리 인코딩 메커니즘 하에서 상호정보량 $\operatorname{I}(\vec{Y}; P)$ 에 대한 닫힌 형태 표현식을 유도할 수 있는가?
• RQ5 모든 가능한 사용자 결과 구성에 대해 제안된 유티리티 지표를 평가하는 데 소요되는 계산 복잡도는 얼마인가?

주요 결과

• 제안된 유티리티 지표 $\operatorname{U}^{\text{distr}}_{n,\mu}(\mathcal{P}) = \operatorname{I}(\vec{Y}; P)$ 는 노이즈 있는 출력으로부터 집계자가 인구 분포에 대해 얻는 정보의 양을 정량화한다.
• 논문은 유니터리 인코딩 메커니즘 하에서 $\operatorname{I}(\vec{Y}; P)$ 에 대한 닫힌 형태 표현식을 도출하였으며, 이는 모든 가능한 사용자 결과 패턴 $s$, 중간 카운트 $k$, 부분집합 구성 $m^y$ 에 대한 합을 포함한다.
• 상호정보량 $\operatorname{I}(\vec{Y}; P)$ 는 출력 $\vec{Y}$ 의 엔트로피와 조건부 엔트로피 $\operatorname{H}(\vec{Y}|P)$ 의 차이로 표현되며, 두 항 모두 조합적 표현과 베타 함수 기반 표현식을 통해 계산된다.
• 유티리티 지표를 계산하는 데 소요되는 복잡도는 $\mathcal{O}(n^{1+(a+1)2^{a-1}})$ 로 제한되며, 이는 사용자 응답 구성의 수와 그 확률적 조합을 모두 고려한 것이다.
• 이 프레임워크는 ε-LDP에 원리적인 정보이론적 해석을 제공하여, ε-LDP 가 정보 유출에 대한 최악의 경우 경계임을 보여주고, 새로운 지표들이 평균적 행동을 캡처함을 입증한다.
• 결과적으로 입력과 출력 간의 상호정보량은 개인 사용자로부터의 정보를 포함하기 때문에 유티리티를 과도하게 평가하지만, 제안된 지표는 집계 수준 통계에 관련된 정보만 분리하여 측정함을 보여준다.