[論文レビュー] On Communication Cost of Distributed Statistical Estimation and Dimensionality

Ankit Garg, Tengyu Ma+1 more|arXiv (Cornell University)|May 7, 2014

Distributed Sensor Networks and Detection Algorithms参考文献 14被引用数 50

ひとこと要約

本稿は、高次元球状正規分布の平均の分散推定における基本的な通信コストの下界を確立する。一般の場合には通信コストが次元と線形に増加することを証明し、真の平均が $s$-スパースである場合に $d/s$ 倍の通信削減が可能なスパース構造化プロトコルを提案することで、通信コストと推定誤差の近似的最適なトレードオフを達成する。

ABSTRACT

We explore the connection between dimensionality and communication cost in distributed learning problems. Specifically we study the problem of estimating the mean $\vecθ$ of an unknown $d$ dimensional gaussian distribution in the distributed setting. In this problem, the samples from the unknown distribution are distributed among $m$ different machines. The goal is to estimate the mean $\vecθ$ at the optimal minimax rate while communicating as few bits as possible. We show that in this setting, the communication cost scales linearly in the number of dimensions i.e. one needs to deal with different dimensions individually. Applying this result to previous lower bounds for one dimension in the interactive setting \cite{ZDJW13} and to our improved bounds for the simultaneous setting, we prove new lower bounds of $Ω(md/\log(m))$ and $Ω(md)$ for the bits of communication needed to achieve the minimax squared loss, in the interactive and simultaneous settings respectively. To complement, we also demonstrate an interactive protocol achieving the minimax squared loss with $O(md)$ bits of communication, which improves upon the simple simultaneous protocol by a logarithmic factor. Given the strong lower bounds in the general setting, we initiate the study of the distributed parameter estimation problems with structured parameters. Specifically, when the parameter is promised to be $s$-sparse, we show a simple thresholding based protocol that achieves the same squared loss while saving a $d/s$ factor of communication. We conjecture that the tradeoff between communication and squared loss demonstrated by this protocol is essentially optimal up to logarithmic factor.

研究の動機と目的

• 分散統計推定における通信コストが次元数にどのように依存するかを理解すること。
• 高次元設定におけるミニマックス推定誤差を達成するための通信コストのタイトな下界を確立すること。
• スパarsity制約下での分散平均推定に向けた通信効率の良いプロトコルを開発すること。
• 多次元推定を独立した一次元問題に帰着する直接和定理を形式化すること。
• 提案されたスパースプロトコルが、対数因子を除いて最適な通信コストと推定誤差のトレードオフを達成していると予想すること。

提案手法

• 情報複雑性からの直接和定理を適用し、$d$-次元推定には少なくとも1次元推定の $d$ 倍の通信コストが必要であることを示す。
• 情報複雑性と強力なデータ処理不等式を用いて、同時通信モデルにおける改善された下界を導出する。
• 各ラウンドで $O(\text{log}\thinspace m)$ ビットのメッセージを用い、信頼区間を段階的に縮小する反復的・適応的プロトコルを提案する。失敗確率は動的に調整される。
• 下界における対数的損失を回避するために平均にガウス事前分布を導入し、 jointly Gaussian 変数に対するデータ処理不等式を用いてよりタイトな解析を可能にする。
• スパースパラメータ $s$-sparse に対して、通信量が $O(md/s)$ ビットに抑えられつつミニマックス二乗誤差を維持する、しきい値処理に基づくプロトコルを設計する。
• スパースパラメータの構造を活用することで、一般ケースに比べて通信コストを $d/s$ 倍削減する。

実験結果

リサーチクエスチョン

• RQ1 分散推定における高次元ガウス平均の通信コストは、次元数 $d$ にどのように依存するか？
• RQ2 真のパラメータがスパースであることが事前に分かっている場合、通信コストを低減できるか？
• RQ3 分散平均推定における通信コストと推定誤差の最適なトレードオフは何か？
• RQ4 同時モデルでは一般ケースの通信コストが $\Omega(md)$ でタイトに抑えられ、インタラクティブモデルでは $\Omega(md/\log m)$ でタイトに抑えられるか？
• RQ5 単純なしきい値処理プロトコルは、スパarsity制約下で近似的最適な通信精度トレードオフを達成できるか？

主な発見

• $d$-次元球状正規分布の分散平均推定における通信コストは、$d$ に線形に比例する。これは、各次元が独立に推定されなければならないことを示唆する。
• 同時通信モデルにおける新たな下界 $\Omega(md)$ ビットを確立し、以前の $\Omega(md/\log m)$ の下界を改善する。
• $O(md)$ ビットの通信量でミニマックス二乗誤差を達成するインタラクティブプロトコルを設計し、ナイーブな同時プロトコルに比べて $\log m$ 要因の改善を達成する。
• $s$-スパースパラメータに対しては、しきい値処理に基づくプロトコルが $O(md/s)$ ビットの通信量で同じ二乗誤差を達成し、$d/s$ 要因の通信削減を実現する。
• 提案されたスパースプロトコルは、対数因子を除いて最適であると予想され、トレードオフが $C \cdot R \gtrsim \frac{sd\sigma^2}{mn}$ を満たす。
• 直接和定理により、$d$ 個の独立した一次元問題を解くより良いプロトコルは存在しないことが示され、通信効率の根本的限界が確立される。