[논문 리뷰] Inference under Information Constraints I: Lower Bounds from Chi-Square Contraction

Jayadev Acharya, Clément L. Canonne외 1명|arXiv (Cornell University)|2018. 12. 30.

Privacy-Preserving Technologies in Data인용 수 5

한 줄 요약

이 논문은 정보 제약 조건 하에서 이산 분포 학습 및 테스팅의 샘플 복잡도에 대해 엄밀한 하한을 설정하며, 새로운 카이제곱 수축 프레임워크를 사용한다. 국소적이고 분리된 카이제곱 변동성을 도입하여, 통신 제한이나 국소적 차별적 프라이버시와 같은 정보 제약 조건이 통계적 구별 가능성에 미치는 영향을 특성화한다. 이로써 비공개 코인 프로토콜이 공개 코인 프로토콜보다 더 높은 샘플 복잡도를 유발한다는 것이 드러난다.

ABSTRACT

Multiple players are each given one independent sample, about which they can only provide limited information to a central referee. Each player is allowed to describe its observed sample to the referee using a channel from a family of channels $\\mathcal{W}$, which can be instantiated to capture both the communication- and privacy-constrained settings and beyond. The referee uses the messages from players to solve an inference problem for the unknown distribution that generated the samples. We derive lower bounds for sample complexity of learning and testing discrete distributions in this information-constrained setting. Underlying our bounds is a characterization of the contraction in chi-square distances between the observed distributions of the samples when information constraints are placed. This contraction is captured in a local neighborhood in terms of chi-square and decoupled chi-square fluctuations of a given channel, two quantities we introduce. The former captures the average distance between distributions of channel output for two product distributions on the input, and the latter for a product distribution and a mixture of product distribution on the input. Our bounds are tight for both public- and private-coin protocols. Interestingly, the sample complexity of testing is order-wise higher when restricted to private-coin protocols.

연구 동기 및 목표

• 통신 제한과 국소적 차별적 프라이버시와 같은 국소 정보 제약 조건 하에서 통계적 추론의 기본적인 샘플 복잡도 하한을 설정하는 것.
• 고정된 가족의 채널로 플레이어의 메시지를 모델링하여 정보 제약 조건이 있는 추론을 분석하는 일반적 프레임워크를 개발하는 것.
• 정보 제약 조건으로 인한 통계적 구별 가능성 감소를 카이제곱 거리 수축을 통해 특성화하는 것.
• 공개 코인 및 비공개 코인 프로토콜 모두에서 학습 및 테스팅 작업에 대해 엄밀한 하한을 유도하는 것.
• 동일한 제약 조건 하에서 비공개 코인 프로토콜이 공개 코인 프로토콜보다 순서적으로 더 높은 샘플 복잡도를 유발한다는 것을 보여주는 것.

제안 방법

• 국소적 카이제곱 변동성의 개념을 도입하여, 두 개의 제품 입력 분포에 대해 동일한 채널을 적용했을 때 출력 분포 간의 평균 카이제곱 거리를 측정한다.
• 분리된 카이제곱 변동성을 정의하여, 채널 하에서 제품 분포와 제품 분포의 혼합물 간의 거리를 측정한다.
• 이러한 변동성을 사용하여 정보 제약 조건이 적용되었을 때 출력 분포의 카이제곱 수축을 근사한다.
• 카이제곱 발산에 대한 데이터 처리 부등식을 적용하여 채널 제약 조건 하에서 입력 편향과 출력의 구별 가능성 간의 관계를 설정한다.
• 최소 달성 가능한 카이제곱 거리와 신뢰할 수 있는 추론을 위해 필요한 샘플 크기 간의 관계를 통해 샘플 복잡도의 하한을 도출한다.
• 공개 코인 프로토콜을 공유된 난수로 모델링하고, 비공개 코인 프로토콜을 채널의 볼록 조합으로 모델링하여 두 프로토콜을 구분한다.

실험 결과

연구 질문

• RQ1 제한된 통신 또는 국소적 차별적 프라이버시와 같은 정보 제약 조건이 이산 분포 학습의 샘플 복잡도에 어떤 영향을 미치는가?
• RQ2 분산 추론에서 정보 제약 조건과 통계적 구별 가능성 사이의 기본적인 트레이드오프는 무엇인가?
• RQ3 정보 제약 조건 하에서 분포 테스팅에 대해 비공개 코인 프로토콜과 공개 코인 프로토콜의 샘플 복잡도는 어떻게 비교되는가?
• RQ4 카이제곱 수축을 통해 정보 제약 조건이 있는 환경에서 학습 및 테스팅 모두에 대해 엄밀한 하한을 도출할 수 있는가?
• RQ5 국소적 및 분리된 카이제곱 변동성은 채널 제약 조건으로 인한 정보 손실을 특성화하는 데 어떤 역할을 하는가?

주요 결과

• 논문은 카이제곱 수축을 사용하여 정보 제약 조건 하에서 이산 분포 학습의 엄밀한 샘플 복잡도 하한을 설정하며, 이 하한이 채널 가족의 국소적 카이제곱 변동성에 의존한다는 것을 보여준다.
• 분포 테스팅의 경우, 동일한 채널 가족이더라도 비공개 코인 프로토콜 하에서는 공개 코인 프로토콜보다 샘플 복잡도가 순서적으로 더 높다.
• 카이제곱 수축 하한은 국소적 및 분리된 카이제곱 변동성을 포함하는 새로운 특성화를 통해 도출되었으며, 이는 채널 하에서 평균 및 혼합된 입력-출력 발산을 캡처한다.
• 테스팅을 위한 하한은 분포 가족의 거의 ε-편향을 구성하고, 그 결과 출력 분포가 충분히 큰 샘플 크기가 아니면 통계적으로 구별 가능하지 않다는 것을 보여줌으로써 도출된다.
• 분석을 통해 비공개 코인 설정에서 유효한 모든 채널 선택에 대해 채널 가족의 출력 분포 간 최소 카이제곱 거리는 상수 c = log(14401/14400)로 아래에서 유계임을 증명한다.
• 이 프레임워크는 학습 및 테스팅 작업 모두에서 엄밀성을 달성하며, 통신 및 프라이버시 제약 조건이 있는 경우 기존 문헌의 알려진 상한과 일치하는 하한을 제공한다.