[논문 리뷰] Geometric Lower Bounds for Distributed Parameter Estimation under Communication Constraints

Yanjun Han, Ayfer Özgür외 1명|arXiv (Cornell University)|2018. 02. 23.

Statistical Methods and Inference인용 수 41

한 줄 요약

본 논문은 유한한 통신 예산하에서 분산 파라미터 추정에 대한 minimax 하한을 도출하는 기하학적 접근법을 제시하고, 통신이 유효 샘플 크기를 어떻게 감소시키는지와 그 감소가 k에 따라 다양한 모델에서 어떻게 스케일링되는지를 보인다.

ABSTRACT

We consider parameter estimation in distributed networks, where each sensor in the network observes an independent sample from an underlying distribution and has $k$ bits to communicate its sample to a centralized processor which computes an estimate of a desired parameter. We develop lower bounds for the minimax risk of estimating the underlying parameter for a large class of losses and distributions. Our results show that under mild regularity conditions, the communication constraint reduces the effective sample size by a factor of $d$ when $k$ is small, where $d$ is the dimension of the estimated parameter. Furthermore, this penalty reduces at most exponentially with increasing $k$, which is the case for some models, e.g., estimating high-dimensional distributions. For other models however, we show that the sample size reduction is re-mediated only linearly with increasing $k$, e.g. when some sub-Gaussian structure is available. We apply our results to the distributed setting with product Bernoulli model, multinomial model, Gaussian location models, and logistic regression which recover or strengthen existing results. Our approach significantly deviates from existing approaches for developing information-theoretic lower bounds for communication-efficient estimation. We circumvent the need for strong data processing inequalities used in prior work and develop a geometric approach which builds on a new representation of the communication constraint. This approach allows us to strengthen and generalize existing results with simpler and more transparent proofs.

연구 동기 및 목표

• 샘플당 통신 한도하에서 분산 통계 추정을 동기 부여하고 형식화한다.
• 강한 데이터 처리 불평등을 피하는 기하학적이고 정보 이론적 프레임워크를 개발하여 minimax 하한을 도출한다.
• 다양한 통계 모델에서 샘플당 통신 예산 k에 따라 유효 샘플 크기가 어떻게 스케일링되는지 특징짓는다.
• 구체적 모델들(곱Bernoulli, 다항 분포, 가우시안 위치, 로지스틱 회귀)에 프레임워크를 적용하여 기존 결과를 재확인하거나 강화한다.

제안 방법

• 통신 제약을 모델링하기 위해 blackboard(인터랙티브)와 동시 메시지 전달 프로토콜(SMP)을 도입한다.
• Assouad 계열의 아이디어를 가능하게 하는 큐브 형태의 섭동 구조 {±1}^d0를 갖는 정규성/근사 정규성 파라미터화 가족을 정의한다.
• 통신 제약하의 추정 위험에 대한 하한과 점수 함수 및 피셔 정보 사이의 두 기하학적 부등식을 도출한다.
• k=1일 때 n에서 n/d로의 유효 샘플 크기 감소를 보이는 비점근적 minimax 하한과 일반적으로 k에 대해 지수적으로 제한된 의존성을 얻는다.
• 일반 하한을 여러 모델(Bernoulli, multinomial, Gaussian location, logistic regression)에 특화하고, sub-Gaussian 대 꼬리가 더 두꺼운 점수 구조를 논의한다.

실험 결과

연구 질문

• RQ1 샘플당 유한한 통신 예산 k가 분산 파라미터 추정의 minimax 위험도에 어떻게 영향을 미치는가?
• RQ2 상호작용 가능한 blackboard와 SMP 프로토콜 하에서 서로 다른 통계 모델에서 추정 오차가 n, d, k에 대해 정확히 어떻게 의존하는가?
• RQ3 강한 데이터 처리 불평등에 의존하지 않고 기하학적 접근으로 엄밀한 하한을 얻을 수 있는가?
• RQ4 sub-Gaussian 점수 구조와 더 무거운 꼬리의 구조가 k의 의존성에 어떻게 영향을 미치는가?
• RQ5 도출된 하한이 이산/이산 분포, Gaussian 위치, 로지스틱 회귀와 같은 구체적 모델에 어떻게 적용되는가?

주요 결과

• 완만한 정칙성 하에서 k=1일 때 통신은 유효 샘플 크기를 n에서 n/d로 감소시킨다.
• 일반적으로 샘플 크기에 대한 페널티는 대개 k에 대해 지수적으로 제한된다.
• 점수 함수가 모든 방향에서 sub-Gaussian 꼬리를 가지면 k에 대한 의존성은 지수적이기보다 선형에 가깝다.
• 곱 Bernoulli, 다항, Gaussian location, 로지스틱 회귀에 대해 하한이 기존 결과를 재현하거나 강화한다.
• 본 접근법은 강한 데이터 처리 불평등을 피하고 기하학적 부등식을 통한 더 간단하고 투명한 증명을 제공한다.