[논문 리뷰] On Communication Cost of Distributed Statistical Estimation and Dimensionality

Ankit Garg, Tengyu Ma외 1명|arXiv (Cornell University)|2014. 05. 07.

Distributed Sensor Networks and Detection Algorithms참고 문헌 14인용 수 50

한 줄 요약

이 논문은 고차원 구형 정규 분포의 평균에 대한 분산 추정에서 기본적인 통신 비용 하한을 설정한다. 일반적인 경우에 통신 비용은 차원 수에 따라 선형적으로 증가하며, 진짜 평균이 s-희소인 경우 통신 비용을 d/s 배 줄이는 희소 구조 프로토콜을 제안하여 통신 비용과 추정 오차 사이의 근사 최적의 트레이드오프를 달성한다.

ABSTRACT

We explore the connection between dimensionality and communication cost in distributed learning problems. Specifically we study the problem of estimating the mean $\vecθ$ of an unknown $d$ dimensional gaussian distribution in the distributed setting. In this problem, the samples from the unknown distribution are distributed among $m$ different machines. The goal is to estimate the mean $\vecθ$ at the optimal minimax rate while communicating as few bits as possible. We show that in this setting, the communication cost scales linearly in the number of dimensions i.e. one needs to deal with different dimensions individually. Applying this result to previous lower bounds for one dimension in the interactive setting \cite{ZDJW13} and to our improved bounds for the simultaneous setting, we prove new lower bounds of $Ω(md/\log(m))$ and $Ω(md)$ for the bits of communication needed to achieve the minimax squared loss, in the interactive and simultaneous settings respectively. To complement, we also demonstrate an interactive protocol achieving the minimax squared loss with $O(md)$ bits of communication, which improves upon the simple simultaneous protocol by a logarithmic factor. Given the strong lower bounds in the general setting, we initiate the study of the distributed parameter estimation problems with structured parameters. Specifically, when the parameter is promised to be $s$-sparse, we show a simple thresholding based protocol that achieves the same squared loss while saving a $d/s$ factor of communication. We conjecture that the tradeoff between communication and squared loss demonstrated by this protocol is essentially optimal up to logarithmic factor.

연구 동기 및 목표

• 분산 통계적 추정에서 통신 비용이 차원 수에 따라 어떻게 변화하는지 이해하기 위해.
• 고차원 설정에서 최소 최대 추정 오차를 달성하기 위한 통신 비용에 대한 날카로운 하한을 설정하기 위해.
• 희소 제약 조건 하에서 분산 평균 추정을 위한 통신 효율적인 프로토콜을 개발하기 위해.
• 다차원 추정을 독립적인 1차원 문제로 연결하는 직접합정리(formalize a direct-sum theorem)를 정의하기 위해.
• 제안된 희소 프로토콜이 로그 인자까지 최적의 통신 비용과 추정 오차 트레이드오프를 달성할 것이라는 추측을 제기하기 위해.

제안 방법

• 정보 복잡도에서 유도된 직접합정리를 적용하여 d차원 추정이 1차원 추정의 통신 비용보다 적어도 d배 이상이어야 한다고 증명한다.
• 정보 복잡도와 강한 데이터 처리 부등식을 사용하여 동시 통신 모델에서 개선된 하한을 유도한다.
• 각 라운드에 O(log m)비트 메시지를 사용하며 신뢰구간을 반복적으로 축소시키는 반복적이고 적응적인 프로토콜을 제안한다. 실패 확률은 동적으로 조정된다.
• 하한 분석에서 로그 손실을 방지하기 위해 평균에 가우시안 사전분포를 도입하여 공통으로 가우시안인 변수에 대한 데이터 처리 부등식을 통해 더 날카로운 분석이 가능하도록 한다.
• s-희소 매개변수를 위한 임계값 기반 프로토콜을 설계하여 최소 최대 제곱 손실을 유지하면서도 오직 O(md/s)비트만 통신한다.
• 희소 매개변수의 구조를 활용하여 일반 경우 대비 통신 비용을 d/s 배 줄일 수 있다.

실험 결과

연구 질문

• RQ1 고차원 가우시안 평균의 분산 추정에서 통신 비용은 차원 수 d에 따라 어떻게 변화하는가?
• RQ2 진짜 매개변수가 희소하다고 알려진 경우 통신 비용을 줄일 수 있는가?
• RQ3 분산 평균 추정에서 통신 비용과 추정 오차 사이의 최적 트레이드오프는 무엇인가?
• RQ4 동시 모델에서는 일반적인 경우 통신 비용이 $\Omega(md)$로 날카로운 하한을 갖는가? 상호작용 모델에서는 $\Omega(md/\log m)$인가?
• RQ5 간단한 임계값 프로토콜이 희소 제약 조건 하에서 근사 최적의 통신-정확도 트레이드오프를 달성할 수 있는가?

주요 결과

• d차원 구형 정규 분포의 평균 추정에 대한 분산 통신 비용은 d에 따라 선형적으로 증가하며, 이는 각 차원이 독립적으로 추정되어야 한다는 것을 의미한다.
• 동시 통신 모델에 대해 새로운 하한 $\Omega(md)$ 비트를 확립하여 이전의 $\Omega(md/\log m)$ 하한을 향상시켰다.
• 최소 최대 제곱 손실을 달성하는 상호작용 프로토콜을 설계하여 $O(md)$ 비트의 통신으로 구현하였으며, 난이도 높은 동시 프로토콜 대비 $\log m$ 배 향상되었다.
• s-희소 매개변수의 경우, 임계값 기반 프로토콜이 $O(md/s)$ 비트의 통신으로 동일한 제곱 손실을 유지하며, d/s 배의 통신 비용 절감을 달성한다.
• 제안된 희소 프로토콜은 로그 인자까지 최적이며, $C \cdot R \gtrsim \frac{sd\sigma^2}{mn}$의 트레이드오프를 만족한다고 추측된다.
• 직접합정리는 어떤 프로토콜도 d개의 독립적인 1차원 문제를 푸는 것보다 더 나아가지 못하며, 통신 효율성의 기본 한계를 규명한다.