[論文レビュー] Wyner-Ziv Estimators: Efficient Distributed Mean Estimation with Side Information

Prathamesh Mayekar, Ananda Theertha Suresh+1 more|arXiv (Cornell University)|Nov 24, 2020

Wireless Communication Security Techniques参考文献 40被引用数 6

ひとこと要約

本稿では、側情報を利用した通信効率の良い分散平均推定のためのワイナーツィブ推定量を提案する。データと側情報の距離が有界である場合、近似的に最適な性能を達成する。また、距離に関する事前知識がなければならぬ状況を想定し、相関サンプリングを用いた汎用的バージョンを導入することで、大規模な設定においても頑健な性能を発揮する。

ABSTRACT

Communication efficient distributed mean estimation is an important primitive that arises in many distributed learning and optimization scenarios such as federated learning. Without any probabilistic assumptions on the underlying data, we study the problem of distributed mean estimation where the server has access to side information. We propose \emph{Wyner-Ziv estimators}, which are communication and computationally efficient and near-optimal when an upper bound for the distance between the side information and the data is known. As a corollary, we also show that our algorithms provide efficient schemes for the classic Wyner-Ziv problem in information theory. In a different direction, when there is no knowledge assumed about the distance between side information and the data, we present an alternative Wyner-Ziv estimator that uses correlated sampling. This latter setting offers {\em universal recovery guarantees}, and perhaps will be of interest in practice when the number of users is large and keeping track of the distances between the data and the side information may not be possible.

研究の動機と目的

• クライアントデータに関するサーバーの側情報を利用した、通信効率の良い分散平均推定を扱う。
• 特に、側情報とデータの間の距離が有界である場合に、計算および通信の両面で効率的な推定量を開発する。
• 側情報とデータの距離に関する事前知識がない状況においても、汎用的な回復保証を提供する。
• 提案手法を情報理論における古典的なワイナーツィブ問題に拡張し、より広範な適用可能性を示す。

提案手法

• 通信コストを削減するために側情報を活用するワイナーツィブ推定量を提案する。
• 側情報とデータの間の距離に有界性を仮定することで、近似的に最適な推定性能を達成する。
• 汎用的バージョンでは、相関サンプリングを用いることで、データと側情報の距離に関する事前知識がなくても回復が可能となる。
• 大規模な分散システムに適した、計算および通信の両面で効率的な推定量を設計する。
• 分散ソース符号化の原則を応用し、精度を維持しつつ通信量を最小化する推定量を構築する。
• 有界距離設定および汎用設定の両方に対して理論的保証を導出することで、頑健性と効率性を確保する。

実験結果

リサーチクエスチョン

• RQ1 サーバーにクライアントデータに関する側情報が存在する状況で、分散平均推定をどのようにして通信効率を高められるか？
• RQ2 側情報とデータの距離が有界である条件下で、通信コストと推定精度の最適なトレードオフは何か？
• RQ3 距離に関する事前知識がなければならぬ状況でも良好に動作する汎用的推定量を設計できるか？
• RQ4 提案された推定量は、情報理論における古典的ワイナーツィブ問題とどのように関係しているか？
• RQ5 有界設定および汎用設定の両方において、提案された推定量の理論的性能限界は何か？

主な発見

• 距離の上界が既知である場合、提案されたワイナーツィブ推定量は近似的に最適な推定性能を達成する。
• 通信および計算の両面で効率的であるため、フェデレーテッドラーニングなどの大規模な分散学習システムに適している。
• 相関サンプリングに基づく汎用的バージョンは、データと側情報の距離に関する事前知識がなくても、頑健な回復保証を提供する。
• 本手法は、機械学習を越えて情報理論における古典的ワイナーツィブ問題へも応用可能であり、理論的関連性を示している。
• 理論的解析により、有界設定および汎用設定の両方において、最小限の通信オーバーヘッドで強力な性能を維持することが確認された。