[논문 리뷰] Optimal lower bounds for universal relation, samplers, and finding duplicates

Jelani Nelson, Jakub Pachocki외 1명|arXiv (Cornell University)|2017. 03. 23.

Cryptography and Data Security참고 문헌 22인용 수 4

한 줄 요약

이 논문은 공개 코인 프rotocol 하에서 보편관계 문제(UR)와 그 일반화인 UR_k의 랜덤화된 일방 통신 복잡도에 대해 최적의 하한을 확립하며, t = max{k, log(1/δ)}일 때 Θ(min{n, t log²(n/t)}) 비트임을 보여준다. 주요 기여는 가짜 저메모리 알고리즘에 대한 적응적 쿼리를 사용하는 새로운 인코딩 체계로, 랜덤 노이즈를 주입하여 미분적 프라이버시 유사 보장을 시뮬레이션함으로써, 어떤 그러한 알고리즘도 정보이론적 한계 이하로 부분집합을 압축할 수 없음을 입증함으로써, ℓ₀-샘플링과 스트림 내 중복 검출에 대해 날카로운 하한을 도출한다.

ABSTRACT

In the communication problem $\mathbf{UR}$ (universal relation) [KRW95], Alice and Bob respectively receive $x$ and $y$ in $\{0,1\}^n$ with the promise that $x eq y$. The last player to receive a message must output an index $i$ such that $x_i eq y_i$. We prove that the randomized one-way communication complexity of this problem in the public coin model is exactly $Θ(\min\{n, \log(1/δ)\log^2(\frac{n}{\log(1/δ)})\})$ bits for failure probability $δ$. Our lower bound holds even if promised $\mathop{support}(y)\subset \mathop{support}(x)$. As a corollary, we obtain optimal lower bounds for $\ell_p$-sampling in strict turnstile streams for $0\le p < 2$, as well as for the problem of finding duplicates in a stream. Our lower bounds do not need to use large weights, and hold even if it is promised that $x\in\{0,1\}^n$ at all points in the stream. Our lower bound demonstrates that any algorithm $\mathcal{A}$ solving sampling problems in turnstile streams in low memory can be used to encode subsets of $[n]$ of certain sizes into a number of bits below the information theoretic minimum. Our encoder makes adaptive queries to $\mathcal{A}$ throughout its execution, but done carefully so as to not violate correctness. This is accomplished by injecting random noise into the encoder's interactions with $\mathcal{A}$, which is loosely motivated by techniques in differential privacy. Our correctness analysis involves understanding the ability of $\mathcal{A}$ to correctly answer adaptive queries which have positive but bounded mutual information with $\mathcal{A}$'s internal randomness, and may be of independent interest in the newly emerging area of adaptive data analysis with a theoretical computer science lens.

연구 동기 및 목표

• 보편관계 문제(UR)와 그 일반화인 UR_k의 랜덤화된 일방 통신 복잡도에 대해 최적의 하한을 확립한다.
• 스트릭트 터널스틸 스트림에서 ℓ₀-샘플링 또는 중복 탐지를 해결하는 모든 알고리즘이 Ω(log(1/δ) log²n) 비트의 스페이스를 사용해야 하며, 이는 알려진 상한과 일치함을 증명한다.
• 낮은 메모리 알고리즘을 변환하여 정보이론적 한계를 위반하는 압축 방법으로 작용하는 새로운 인코딩 체계를 개발한다. 이를 통해 모순을 통해 하한을 증명한다.
• 상호정보량이 제한된 랜덤 알고리즘에 대한 적응적 쿼리의 정확성을 분석함으로써, 적응적 데이터 분석 이론에 기여한다.

제안 방법

• 앨리스와 보브가 서로 다를 인덱스의 수를 최소한 k개 이상 출력해야 하는 새로운 통신 문제 UR_k를 제안한다.
• 가능한 한 정보이론적 최소 이하의 비트로 부분집합 S ⊆ [n]을 압축하는 데 사용되는 인코딩 체계(ENC_k)를 설계한다.
• 쿼리와 알고리즘 A의 내부 상태 사이의 상호정보량을 유지를 위해 A와의 상호작용에 랜덤 노이즈를 주입함으로써, 미분적 프라이버시 유사 보장을 시뮬레이션한다.
• 유니버스 [n]을 R = Θ(log(n/k)) 수준으로 재귀적으로 분할하여, 각 수준에서 원소의 절반을 무작위로 유지함으로써 구별 가능한 부분집합의 수를 증폭시킨다.
• 같은 알고리즘 A를 정밀하게 구성된 입력에서 사용하여 원래 집합 S를 복원하는 복호기(DEC_k)를 구축한다.
• 체르노프 불등식을 적용하여, 상수 확률로 최종 집합 S_R의 크기가 ≥ k임을 보여주며, 이는 k개의 서로 다른 다를 인덱스를 복원하는 데 성공할 수 있음을 보장한다.

실험 결과

연구 질문

• RQ1 실패 확률 δ일 때 보편관계 문제 UR의 최적 랜덤화된 일방 통신 복잡도는 얼마인가?
• RQ2 k개의 서로 다른 다를 인덱스를 찾아야 하는 일반화된 UR_k 문제의 복잡도는 어떻게 스케일링되는가?
• RQ3 UR_k에 대한 통신 복잡도 하한으로부터 ℓ₀-샘플링과 데이터 스트림 내 중복 탐지에 대한 날카로운 하한을 유도할 수 있는가?
• RQ4 낮은 메모리 알고리즘에 대한 적응적 쿼리 메커니즘을 사용하여 정보이론적 압축 한계를 위반할 수 있으며, 이를 통해 스페이스 하한을 증명할 수 있는가?
• RQ5 적응적 쿼리와 알고리즘 상태 사이의 상호정보량은 노이즈 주입 하에 정확성을 유지하는 데 어떤 역할을 하는가?

주요 결과

• 실패 확률 δ일 때 보편관계 문제 UR의 랜덤화된 일방 통신 복잡도는 Θ(min{n, log(1/δ) log²(n/log(1/δ))}) 비트이다.
• 일반화된 UR_k 문제에 대해 최적의 복잡도는 Θ(min{n, t log²(n/t)}) 비트이며, 여기서 t = max{k, log(1/δ)}이다.
• 스트릭트 터널스틸 모델에서 ℓ₀-샘플링에 대해 최초로 Ω(log(1/δ) log²n) 비트의 스페이스 하한을 확립하였다. 이는 δ > 2^{-n^{0.99}}일 때도 유효하다.
• 입력 벡터가 스트림 전반에 걸쳐 {0,1}^n에 속해 있음을 보장하더라도 하한은 유지되며, 큰 가중치가 필요하지 않다.
• 적응적 쿼리와 노이즈 주입을 활용하여 정보이론적 최소 이하의 압축을 달성하는 인코딩 체계는, 어떤 알고리즘도 k-요소 복원에 대해 최소 Ω(k log²(n/k)) 비트를 사용해야 한다는 것을 증명한다.
• 상호정보량이 제한된 적응적 쿼리 분석은 이론적 컴퓨터 과학 적용 분야에서 새로운 도구를 제공한다.