[논문 리뷰] Tight Lower Bounds for Differentially Private Selection

Thomas Steinke, Jonathan Ullman|arXiv (Cornell University)|2017. 04. 10.

Privacy-Preserving Technologies in Data참고 문헌 26인용 수 5

한 줄 요약

이 논문은 d개의 옵션 중 상위-k 항목을 비차별적으로 선택하기 위해 필요한 표본 복잡도에 대해 Ω(√k log d)의 날카운 하한을 확립한다. 이는 최소한의 정확도 요구 조건에서도 성립한다. 저자들은 이전에 모든 d개의 쿼리에 대해 사용된 피어링 테크닉을 희소 선택 문제로 확장하여, 기존 알고리즘인 지수 기반 메커니즘과 희소 벡터 기술이 더 나은 표본 복잡도를 달성할 수 없음을 증명함으로써, 비차별적 선택 이론에서 오랫동안 열려있던 핵심 문제를 해결한다.

ABSTRACT

A pervasive task in the differential privacy literature is to select the $k$ items of "highest quality" out of a set of $d$ items, where the quality of each item depends on a sensitive dataset that must be protected. Variants of this task arise naturally in fundamental problems like feature selection and hypothesis testing, and also as subroutines for many sophisticated differentially private algorithms. The standard approaches to these tasks---repeated use of the exponential mechanism or the sparse vector technique---approximately solve this problem given a dataset of $n = O(\sqrt{k}\log d)$ samples. We provide a tight lower bound for some very simple variants of the private selection problem. Our lower bound shows that a sample of size $n = Ω(\sqrt{k} \log d)$ is required even to achieve a very minimal accuracy guarantee. Our results are based on an extension of the fingerprinting method to sparse selection problems. Previously, the fingerprinting method has been used to provide tight lower bounds for answering an entire set of $d$ queries, but often only some much smaller set of $k$ queries are relevant. Our extension allows us to prove lower bounds that depend on both the number of relevant queries and the total number of queries.

연구 동기 및 목표

• d개의 옵션 중 상위-k 항목을 비차별적으로 선택하기 위해 필요한 표본 복잡도에 대해 날카운 하한을 확립하는 것.
• 비차별적 선택 이론에서 근본적인 열린 문제인, 상위-k 선택을 위한 기존 알고리즘이 O(√k log d) 표본 복잡도를 초월해 향상될 수 있는지 여부를 다루는 것.
• 이전에 모든 d개의 쿼리에 대해 사용된 피어링 기법을, 오직 k개의 관련 쿼리가 중요한 희소 선택 문제로 확장하는 것.
• 지수 기반 메커니즘과 희소 벡터 기술과 같은 표준 방법이 달성하는 O(√k log d) 표본 복잡도가 점근적으로 최적임을 증명하는 것.
• 제품 분포와 선택된 좌표당 일정한 오차 조건 하에서 문제를 분석하여, 심지어 최소한의 정확도 요구 조건이라도 이 표본 크기가 반드시 필요하다는 것을 보여주는 것.

제안 방법

• 기존에 모든 d개의 쿼리에 대해 하한을 확립하는 데 사용된 피어링 기법을, 오직 k개의 쿼리가 관련된 희소 선택 문제로 확장하는 것.
• 전체 쿼리 수 d와 관련 쿼리 수 k를 모두 고려하는 새로운 분석 프레임워크를 도입하는 것.
• 정확히 2k/d 비율의 좌표에 대해 p_j ≥ 7/8인 {0,1}^d 위의 제품 분포를 구성하여 선택 문제에 대한 어려운 분포를 만드는 것.
• 기대 선택 성능을 두 부분으로 나누어 분석하는 것: p_j ≤ 11/16 인 좌표에 대한 부분과 p_j > 11/16 인 좌표에 대한 부분으로 나누어 조건부 기대값을 사용하는 것.
• 비차별적 선택의 제약 조건을 활용하여, 낮은 평균을 가진 좌표를 선택할 확률를 제한함으로써, 출력 선택자에 대한 기대 노름의 하한을 도출하는 것.
• 집중 불등식과 비차별적 선택 제약 조건을 조합하여, 선택된 집합의 기대 유틸리티에 대한 모순을 통해 표본 복잡도의 하한을 유도하는 것.

실험 결과

연구 질문

• RQ1 기존 비차별적 선택 알고리즘의 O(√k log d) 표본 복잡도가 상위-k 선택 문제에서 최적일까?
• RQ2 피어링 기법은 관련 쿼리가 d개 중 k개에만 해당하는 희소 선택 문제에 대해 하한을 제공하도록 적응시킬 수 있는가?
• RQ3 선택된 항목의 평균이 적어도 7/8이 되도록 하기 위해 필요한 최소 표본 복잡도는 무엇인가, 심지어 선택된 좌표당 일정한 오차 조건이 존재하더라도?
• RQ4 희소 선택 설정에서 표본 복잡도가 d와 k 둘 다에 의존하는가, 아니면 오직 d에만 의존하는가?
• RQ5 비차별적 알고리즘이 o(√k log d)의 표본 수로 선택된 좌표당 일정한 오차를 달성할 수 있는가?

주요 결과

• 논문은 비차별적 상위-k 선택 문제에 대해 Ω(√k log d)의 날카운 하한을 증명하며, 최소한의 정확도 요구 조건 하에서도 성립한다.
• 이 하한은 제품 분포에 대해 성립하며, 총 오차가 k/10 이하인 모든 비차별적 알고리즘에 적용 가능하다.
• 결과적으로 지수 기반 메커니즘과 희소 벡터 기술과 같은 기존 알고리즘이 표본 복잡도 측면에서 점근적으로 최적임을 보여준다.
• 피어링 기법이 성공적으로 희소 선택 문제로 확장되어, d와 k 둘 다에 의존하는 하한을 도출할 수 있게 되었다.
• 분석은 선택된 좌표당 일정한 오차와 (1, 1/nd)-비차별적 선택 조건 하에서도 Ω(√k log d)의 표본이 반드시 필요하다는 것을 보여준다.
• 이 하한은 날카롭고, 가장 잘 알려진 상한과 정확히 일치하므로, 비차별적 선택 이론에서 오랫동안 열려있던 핵심 문제를 해결한다.