[論文レビュー] Geometric Lower Bounds for Distributed Parameter Estimation under Communication Constraints

Yanjun Han, Ayfer Özgür+1 more|arXiv (Cornell University)|Feb 23, 2018

Statistical Methods and Inference被引用数 41

ひとこと要約

この論文は、有限の通信予算の下で分散パラメータ推定のミニマックス下界を導出する幾何学的アプローチを開発し、通信が有効データサイズをどのように減少させるか、そしてその減少が k によってさまざまなモデルでどのようにスケールするかを示す。

ABSTRACT

We consider parameter estimation in distributed networks, where each sensor\nin the network observes an independent sample from an underlying distribution\nand has $k$ bits to communicate its sample to a centralized processor which\ncomputes an estimate of a desired parameter. We develop lower bounds for the\nminimax risk of estimating the underlying parameter for a large class of losses\nand distributions. Our results show that under mild regularity conditions, the\ncommunication constraint reduces the effective sample size by a factor of $d$\nwhen $k$ is small, where $d$ is the dimension of the estimated parameter.\nFurthermore, this penalty reduces at most exponentially with increasing $k$,\nwhich is the case for some models, e.g., estimating high-dimensional\ndistributions. For other models however, we show that the sample size reduction\nis re-mediated only linearly with increasing $k$, e.g. when some sub-Gaussian\nstructure is available. We apply our results to the distributed setting with\nproduct Bernoulli model, multinomial model, Gaussian location models, and\nlogistic regression which recover or strengthen existing results.\n Our approach significantly deviates from existing approaches for developing\ninformation-theoretic lower bounds for communication-efficient estimation. We\ncircumvent the need for strong data processing inequalities used in prior work\nand develop a geometric approach which builds on a new representation of the\ncommunication constraint. This approach allows us to strengthen and generalize\nexisting results with simpler and more transparent proofs.\n

研究の動機と目的

• 1サンプルあたりの通信制限の下で、分散統計推定を動機づけ、形式化する。
• 強いデータ処理不等式を回避する幾何的・情報理論的枠組みを構築し、ミニマックス下界を導出する。
• さまざまな統計モデルにおいて、1サンプルあたりの通信予算 k が有効サンプルサイズのスケーリングにどのように影響するかを特徴づける。
• 具体的なモデル（product Bernoulli、multinomial、Gaussian location、logistic regression）に対して枠組みを適用し、既存の結果を再現または強化する。

提案手法

• 通信制約をモデル化するために、ブラックボード（対話型）と同時メッセージ伝達プロトコルを導入する。
• Assouad型の議論を可能にするため、{±1}^d0 の立方体様の摂動構造を持つ正則性/近似正則性を満たすパラメータ化族を定義する。
• 通信制約下での推定リスクの下界に、スコア関数とフィッシャー情報を関連付ける幾何的な不等式を2つ導出する。
• 一般には、k=1 の場合に有効サンプルサイズが n から n/d に減少する非漸近的ミニマックス下界を得、かつ k に対して最大でも指数関数的な依存に留まる下界を得る。
• 一般的な境界をいくつかのモデル（Bernoulli、multinomial、Gaussian location、logistic regression）に特化し、サブガウシアンなスコア構造とより重い尾を持つスコア構造を比較する。

実験結果

リサーチクエスチョン

• RQ1 有限の1サンプルあたりの通信予算 k は、分散パラメータ推定におけるミニマックスリスクにどのような影響を与えるか？
• RQ2 対話型ブラックボードとSMPプロトコルの下で、推定誤差が n, d, k に対して各統計モデルで正確にどのように依存するか？
• RQ3 幾何学的アプローチは強いデータ処理不等式に依存せずに、厳密な下界を導出できるか？
• RQ4 サブガウシアンなスコア構造と尾が重い構造が、リスクの k 依存性にどのように影響するか？
• RQ5 導出された下界は、離散/離散分布、Gaussian location、および logistic regression のような具体的なモデルにどのように適用されるか？

主な発見

• 穏当な正則性の下で、k=1 のとき通信は有効サンプルサイズを n から n/d に減らす。
• 一般に、サンプルサイズへのペナルティは k に対して最大でも指数関数的である。
• スコア関数がすべての方向でサブガウシアン尾を持つ場合、k に対する依存は指数関数的ではなく線形に近い。
• product Bernoulli、multinomial、Gaussian location、および logistic regression に対して、境界は既存の結果を再現または強化する。
• この手法は強いデータ処理不等式を回避し、幾何的不等式を用いたより単純で分かりやすい証明を提供する。