[論文レビュー] Unified lower bounds for interactive high-dimensional estimation under information constraints

Jayadev Acharya, Clément L. Canonne+2 more|arXiv (Cornell University)|Oct 13, 2020

Distributed Sensor Networks and Detection Algorithms被引用数 8

ひとこと要約

本稿は、通信制限や局所的微分プライバシーなど多様な情報制約下において、インタラクティブで高次元のパrameter推定のためのタイトなミニマックス下界を導出する統一的で即席に使えるフレームワークを提示する。このフレームワークは、一般のℓ_p損失関数下での離散的および連続的パラメトリック族に適用可能である。主な貢献は、制限的な正則性仮定を回避する一般化された下界であり、データ処理不等式やCramér–Rao下界といった先行研究の結果を回復または改善し、一致する上界によってタイトさが裏付けられる。

ABSTRACT

We consider distributed parameter estimation using interactive protocols subject to local information constraints such as bandwidth limitations, local differential privacy, and restricted measurements. We provide a unified framework enabling us to derive a variety of (tight) minimax lower bounds for different parametric families of distributions, both continuous and discrete, under any $\\ell_p$ loss. Our lower bound framework is versatile and yields "plug-and-play" bounds that are widely applicable to a large range of estimation problems, and, for the prototypical case of the Gaussian family, circumvents limitations of previous techniques. In particular, our approach recovers bounds obtained using data processing inequalities and Cram\\'er--Rao bounds, two other alternative approaches for proving lower bounds in our setting of interest. Further, for the families considered, we complement our lower bounds with matching upper bounds.

研究の動機と目的

• 通信制限や局所的微分プライバシーなどの多様な情報制約下におけるインタラクティブで高次元のパrameter推定のための一般的で頑健な下界の欠如に応えること。
• 漸近統計で一般的な技術的正則性条件を回避するフレームワークを開発し、より広範な適用可能性を実現すること。
• データ処理不等式やCramér–Rao下界といった既存の手法を、一貫した理論的枠組みの下で統合・一般化すること。
• 連続的および離散的パラメトリック族（ガウス分布や離散一様分布を含む）におけるℓ_p損失関数下でのタイトなミニマックス下界を確立すること。
• 下界に一致する上界を併せて構築し、導出された下界が主な設定においてタイトであることを確認すること。

提案手法

• フレームワークは、パrameterの異なる方向における不確実性を表すz ∈ {−1, +1}^kをインデックスとする分布族{p_z}を用いて、『困難な部分問題』を構築する。
• 情報制約下でのパrameter不確実性と情報の整合性を捉える量を用いて、真のパラメータと推定値との平均差異の上界を導出する。
• 最小限の仮定に依存する：有界比条件は必要とせず、パラメータシフト下での密度変化の直交性およびサブガウス性のみを仮定する。
• 離散的および連続的分布（ガウス分布や離散一様族を含む）に適用可能であり、p ≥ 1におけるℓ_p損失関数下で有効である。
• 情報制約下での推定誤差を相互情報量および発散測度で界ずる一般定理（定理1）を活用する。
• 密度変化に独立性およびサブガウス性の構造を課すことにより、即席に使える下界（定理2）を導出する。

実験結果

リサーチクエスチョン

• RQ1 制限的な正則性仮定を必要とせず、通信制限やプライバシー制限といった多様な情報制約下におけるインタラクティブ高次元推定のためのミニマックス下界を導出する、一貫した一般フレームワークを開発できるか。
• RQ2 提案された下界は、データ処理不等式やCramér–Rao下界といった既存手法と比較して、タイトさと適用範囲の点でどのように異なるか。
• RQ3 このフレームワークは、ガウス分布や離散一様分布を含む離散的および連続的パラメトリック族、ℓ_p損失関数下でもどの程度適用可能か。
• RQ4 局所的微分プライバシーまたは通信制限付き推定といった特定の設定において、既知の下界をフレームワークが回復または改善できるか。
• RQ5 導出された下界はタイトか。一致する上界を構築することで、そのタイトさを確認できるか。

主な発見

• フレームワークは、先行研究で一般的な有界比仮定を回避する一般化されたミニマックス下界を確立した。
• プライバシーパラメータϱの局所的微分プライバシー下では、下界がε² ≥ Ω(d^{2/p} / (n((e^ϱ−1)² ∧ e^ϱ)))を満たし、標準仮定下での既知の結果と一致する。
• 1メッセージあたりℓビットの通信制限がある推定では、下界がε² ≥ Ω(d^{2/p} / (n2^ℓ))を満たし、定数因子を除いてタイトである。
• フレームワークはデータ処理不等式やCramér–Rao下界の結果を回復・統合し、これらが提案された一般フレームワークの特殊ケースであることを示した。
• ガウス族におけるℓ_p損失関数下では、先行手法の制限を回避し、インタラクティブ設定下でもタイトな下界を提供した。
• 一致する上界が構築され、p=1や高次元平均推定を含む、多くの関心のある設定において導出された下界がタイトであることが確認された。