[論文レビュー] Distributed Gaussian Mean Estimation under Communication Constraints: Optimal Rates and Communication-Efficient Algorithms

Tianxi Cai, Hongji Wei|arXiv (Cornell University)|Jan 24, 2020

Distributed Sensor Networks and Detection Algorithms参考文献 12被引用数 16

ひとこと要約

本稿は、1変量および多変量設定の両方において、通信制約下での分散型ガウス平均推定のミニマックスレートを確立する。2段階のフレームワーク—局所化と精緻化—を提案し、通信効率的かつ統計的に最適な推定量を実現する。1変量のレートは総通信予算にのみ依存するが、多変量のレートはマシン間での予算配分に依存する。

ABSTRACT

We study distributed estimation of a Gaussian mean under communication constraints in a decision theoretical framework. Minimax rates of convergence, which characterize the tradeoff between the communication costs and statistical accuracy, are established in both the univariate and multivariate settings. Communication-efficient and statistically optimal procedures are developed. In the univariate case, the optimal rate depends only on the total communication budget, so long as each local machine has at least one bit. However, in the multivariate case, the minimax rate depends on the specific allocations of the communication budgets among the local machines. Although optimal estimation of a Gaussian mean is relatively simple in the conventional setting, it is quite involved under the communication constraints, both in terms of the optimal procedure design and lower bound argument. The techniques developed in this paper can be of independent interest. An essential step is the decomposition of the minimax estimation problem into two stages, localization and refinement. This critical decomposition provides a framework for both the lower bound analysis and optimal procedure design.

研究の動機と目的

• 分散型ガウス平均推定における通信コストと統計的精度の根本的トレードオフを特定すること。
• 通信制約下での最適推定誤差を定量化するミニマックス下界を確立すること。
• 1変量および多変量ガウス平均設定における通信効率的かつ統計的に最適な推定手順を設計すること。
• 多変量ケースにおけるローカルマシン間の予算配分が推定性能に与える影響を分析すること。
• 下界解析および最適推定量構築の両方のために、局所化と精緻化からなる2段階の分解フレームワークを構築すること。

提案手法

• 2段階のフレームワークを提案：まず粗い通信を用いてパラメータを局所化し、次に高精度のフィードバックでそれを精緻化する。
• 相互情報量と条件付きエントロピーを用いた情報理論的道具を用いてミニマックス下界を導出する。
• 強いデータ処理不等式を用いて通信チャネルにおける情報損失を制限する。
• Lemma 8を用いて、整数値をとる確率変数間の大きな条件付きエントロピーと大きな$L_2$推定誤差との関係を確立する。
• 下界を導出するために、離散グリッド上の一様事前分布を用いる。
• 通信予算が精度に対して小さい場合（$B < \log(1/\sigma)+2$）と大きい場合（$B \geq \log(1/\sigma)+m$）の2つのケースを分析することで最適レートを導出する。

実験結果

リサーチクエスチョン

• RQ1 総通信予算が与えられたもとで、分散型ガウス平均推定の最適収束レートは何か？
• RQ2 多変量ケースにおいて、ローカルマシン間での通信ビットの配分がミニマックスリスクに与える影響は何か？
• RQ3 局所化の次に精緻化を行う2段階手順は、ミニマックス最適レートに到達できるか？
• RQ4 分散型設定における通信コストと推定精度の根本的トレードオフは何か？
• RQ5 相互情報量やエントロピー分解といった情報理論的道具は、タイトな下界をどのように可能にするか？

主な発見

• 1変量の場合、ミニマックスレートは各ローカルマシンが少なくとも1ビットを有する限り、総通信予算$B$にのみ依存する。
• 多変量の場合、ミニマックスレートは総通信予算ではなく、マシン間での予算配分の仕方にも依存する。
• 1変量設定における最適レートは、小規模な$\sigma$に対して$\asymp \frac{\sigma^2}{B - \log(1/\sigma)}$であり、精度と通信コストのトレードオフを示している。
• 小さな通信予算（$B < \log(1/\sigma) + 2$）では、下界が$\Omega(2^{-2B})$に比例し、通信量の増加に伴い推定誤差が指数的に減少することを示している。
• $B \geq \log(1/\sigma) + m$のとき、ミニマックスリスクは下界として$\asymp \sigma^2/m \wedge 1$を満たし、集中型ミニマックスレートと一致する。
• 提案された2段階手順はミニマックス最適レートに到達しており、局所化と精緻化が最適性能を達成するために両方必要かつ十分であることを示している。