[論文レビュー] Breaking the Communication-Privacy-Accuracy Trilemma

Weining Chen, Peter Kairouz+1 more|arXiv (Cornell University)|Jul 22, 2020

Privacy-Preserving Technologies in Data参考文献 53被引用数 32

ひとこと要約

この論文は、新しいエンコーディングとデコーディング方式を導入し、局所的差分プライバシーと通信制約を共同で最適化して、平均値推定と頻度推定の近似最適な精度を達成し、ε-LDPとbビット制限の下でプライバシー、通信、精度のトレードオフを破る。

ABSTRACT

Two major challenges in distributed learning and estimation are 1) preserving the privacy of the local samples; and 2) communicating them efficiently to a central server, while achieving high accuracy for the end-to-end task. While there has been significant interest in addressing each of these challenges separately in the recent literature, treatments that simultaneously address both challenges are still largely missing. In this paper, we develop novel encoding and decoding mechanisms that simultaneously achieve optimal privacy and communication efficiency in various canonical settings. In particular, we consider the problems of mean estimation and frequency estimation under $\varepsilon$-local differential privacy and $b$-bit communication constraints. For mean estimation, we propose a scheme based on Kashin's representation and random sampling, with order-optimal estimation error under both constraints. For frequency estimation, we present a mechanism that leverages the recursive structure of Walsh-Hadamard matrices and achieves order-optimal estimation error for all privacy levels and communication budgets. As a by-product, we also construct a distribution estimation mechanism that is rate-optimal for all privacy regimes and communication constraints, extending recent work that is limited to $b=1$ and $\varepsilon=O(1)$. Our results demonstrate that intelligent encoding under joint privacy and communication constraints can yield a performance that matches the optimal accuracy achievable under either constraint alone.

研究の動機と目的

• 分散学習と推定における共同のプライバシー・通信・精度のトレードオフを動機づけ、形式化する。
• ε-LDPおよびbビット通信制約の下で、標準的なタスクに対して最適またはほぼ最適な推定誤差を達成する方式を提供する。
• どの制約が支配的かを特徴づけ、より厳しくない制約を自由に満たせる方法を示す。
• 共有乱数の考慮を伴う、平均推定と分布/頻度推定の両方に適用可能な普遍的な方式を示す。

提案手法

• Kashinの表現とランダムサンプリング（SQKR）に基づく平均推定の公開コイン方式を開発し、ε-LDPおよびbビット制約の下で次数的最適なℓ2誤差を達成する。
• Kashinの表現でデータを前処理し、係数全体に情報を均等に分散させることで、ロバストな量子化と privatization を可能にする。
• データを2^k-RR機構を用いて量子化・サブサンプリング・ privatize し、kビットのレポートを送信し、サーバーで不偏推定量を再構築する。
• 統計的平均推定のために、座標を決定的に分割して共有乱数を回避する変種を提供する（ε-LDPとbビット制約の下で依然として最適な誤差を達成）。
• 頻度推定のためのRecursive Hadamard Response（RHR）方式を導入し、再帰的Hadamard構造を活用して、すべてのプライバシーと通信予算で次数的最適な誤差を達成する。
• dominant constraint が誤差を決定し、他方の制約を無料で満たすことができることを示し、高プライバシー領域で小さな1ビット予算が十分である理由を説明する実用的な頻度推定設定の解を提供する。

実験結果

リサーチクエスチョン

• RQ1 Canonicalなタスク（平均推定、頻度推定、分布推定）における joint ε-LDP および b-ビット通信制約の下での基本的な推定誤差限界は何か？
• RQ2 Kashinの表現や再帰Hadamard構造を活用したエンコーディング方式は、すべてのプライバシーと通信予算に対して次数的最適な性能を達成できるのか？
• RQ3 他方の制約が誤差を支配する場合、どの程度まで緩い方の制約を無料で満たせるのか？
• RQ4 共有乱数の要件は、統計設定と分布設定の実用性と最適性にどのように影響するのか？

主な発見

• 平均推定では、r_ME(ℓ2, ε, b) = Θ(d/n · min(ε^2, ε, b)); SQKR方式はこのオーダーを達成し、特定の領域で情報論的に最適である。
• Kashinの表現は係数全体に情報を均等に広げ、低分散再構成と偏りのない推定を可能にして、 joint 制約下でℓ2誤差を改善する。
• 頻度推定のため、r_FE(ℓ2) = Θ(d/(n min{e^ε, (e^ε−1)^2, 2^b, d})) および r_FE(ℓ1) = Θ(d/(√(n min{e^ε, (e^ε−1)^2, 2^b, d}))) で、RHR は ε および b の下で次数的最適性を達成し、デコードは効率的（O(n + d log d)）。
• Recursive Hadamard Response (RHR) は共有乱数なしで分布推定にも拡張され、すべてのプライバシー体制と予算で ℓ1 および ℓ2 の次数的最適誤差を達成する。
• 結果は fundamental なトレードオフがより厳しい制約によって支配され、もう一方の制約は無料で満たせることを示し、高いプライバシー領域で小さな予算が十分である理由を説明する。
• これらの方式は研究対象の設定で情報理論的な下限と一致することを示し、最適性を検証する。