[논문 리뷰] Wyner-Ziv Estimators: Efficient Distributed Mean Estimation with Side Information

Prathamesh Mayekar, Ananda Theertha Suresh외 1명|arXiv (Cornell University)|2020. 11. 24.

Wireless Communication Security Techniques참고 문헌 40인용 수 6

한 줄 요약

이 논문은 측정값과 부가 정보 사이의 거리가 유계일 경우 통신 효율적인 분산 평균 추정을 위해 윈너-지브 추정기를 제안하며, 이는 근사 최적 성능을 달성한다. 또한 거리에 대한 사전 지식이 없는 상황을 고려해 상관 샘플링을 활용한 유니버설 버전을 도입하여 대규모 환경에서도 강건한 성능을 보인다.

ABSTRACT

Communication efficient distributed mean estimation is an important primitive that arises in many distributed learning and optimization scenarios such as federated learning. Without any probabilistic assumptions on the underlying data, we study the problem of distributed mean estimation where the server has access to side information. We propose \emph{Wyner-Ziv estimators}, which are communication and computationally efficient and near-optimal when an upper bound for the distance between the side information and the data is known. As a corollary, we also show that our algorithms provide efficient schemes for the classic Wyner-Ziv problem in information theory. In a different direction, when there is no knowledge assumed about the distance between side information and the data, we present an alternative Wyner-Ziv estimator that uses correlated sampling. This latter setting offers {\em universal recovery guarantees}, and perhaps will be of interest in practice when the number of users is large and keeping track of the distances between the data and the side information may not be possible.

연구 동기 및 목표

• 클라이언트 데이터에 대한 서버의 부가 정보를 고려한 통신 효율적인 분산 평균 추정 문제를 해결하기 위해.
• 측정값과 부가 정보 사이의 거리가 유계일 경우, 계산 및 통신 효율적인 추정기를 개발하기 위해.
• 측정값과 부가 정보 사이의 거리에 대한 사전 지식이 없는 상황에서도 유니버설 복원 보장을 제공하기 위해.
• 제안된 방법을 정보이론 분야의 고전적 윈너-지브 문제로 확장하여 그 보다 넓은 적용 가능성을 입증하기 위해.

제안 방법

• 측정값과 부가 정보를 활용해 통신 비용을 줄이는 분산 평균 추정을 위한 윈너-지브 추정기를 제안한다.
• 측정값과 부가 정보 사이의 거리에 대한 유계 조건을 도입하여 근사 최적의 추정 성능를 달성한다.
• 유니버설 버전에서는 상관 샘플링을 활용해 측정값과 부가 정보 사이의 거리에 대한 사전 지식 없이도 복원을 가능하게 한다.
• 대규모 분산 시스템에 적합한 계산 및 통신 효율적인 추정기를 설계한다.
• 분산 소스 코딩 원리를 적용해 정확도를 유지하면서도 통신량을 최소화하는 추정기를 구성한다.
• 유계 거리 및 유니버설 설정 모두에 대해 이론적 보장을 도출하여 강건성과 효율성을 보장한다.

실험 결과

연구 질문

• RQ1 측정값과 부가 정보가 서버에 존재할 경우, 어떻게 분산 평균 추정을 더 통신 효율적으로 만들 수 있는가?
• RQ2 측정값과 부가 정보 사이의 거리가 유계일 경우, 통신 비용과 추정 정확도 사이의 최적 트레이드오프는 무엇인가?
• RQ3 측정값과 부가 정보 사이의 거리에 대한 사전 지식 없이도 잘 작동하는 유니버설 추정기를 설계할 수 있는가?
• RQ4 제안된 추정기는 정보이론 분야의 고전적 윈너-지브 문제와 어떻게 관련이 있는가?
• RQ5 유계 및 유니버설 설정 모두에서 제안된 추정기의 이론적 성능 한계는 무엇인가?

주요 결과

• 측정값과 부가 정보 사이의 거리에 대한 상한이 알려져 있을 경우, 제안된 윈너-지브 추정기는 근사 최적의 추정 성능를 달성한다.
• 추정기는 통신 및 계산 효율성이 뛰어나 페더레이티드 러닝과 같은 대규모 분산 학습 시스템에 적합하다.
• 상관 샘플링을 기반으로 한 유니버설 버전은 측정값과 부가 정보 사이의 거리에 대한 사전 지식 없이도 강건한 복원 보장을 제공한다.
• 이 방법은 정보이론 분야의 고전적 윈너-지브 문제로도 확장 가능하여, 머신러닝을 초월한 이론적 관련성을 입증한다.
• 이론적 분석을 통해 추정기가 유계 및 유니버설 설정 모두에서 높은 성능를 유지하며 최소한의 통신 오버헤드를 기록함을 확인한다.