[論文レビュー] Exact Optimality of Communication-Privacy-Utility Tradeoffs in Distributed Mean Estimation

Berivan Isik, Weining Chen+3 more|arXiv (Cornell University)|Jun 8, 2023

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

本稿は、共有ランダムネスのもとで通信・プライバシー・ユーティリティの最適化を実現する分散平均推定のメカニズムを提案し、k-近い符号化を用いたランダム回転単体符号化（RRSC）を導入する。回転対称な符号本—具体的には、ランダムに回転された単体—が、最小限の通信量と厳密な局所的微分プライバシー制約のもとで、最適な平均二乗誤差を達成するために必要かつ十分であることを示すことにより、正確な最適性を証明する。

ABSTRACT

We study the mean estimation problem under communication and local differential privacy constraints. While previous work has proposed \emph{order}-optimal algorithms for the same problem (i.e., asymptotically optimal as we spend more bits), \emph{exact} optimality (in the non-asymptotic setting) still has not been achieved. In this work, we take a step towards characterizing the \emph{exact}-optimal approach in the presence of shared randomness (a random variable shared between the server and the user) and identify several conditions for \emph{exact} optimality. We prove that one of the conditions is to utilize a rotationally symmetric shared random codebook. Based on this, we propose a randomization mechanism where the codebook is a randomly rotated simplex -- satisfying the properties of the \emph{exact}-optimal codebook. The proposed mechanism is based on a $k$-closest encoding which we prove to be \emph{exact}-optimal for the randomly rotated simplex codebook.

研究の動機と目的

• 共同通信および局所的微分プライバシー（LDP）制約下における分散平均推定の正確な最適性に関するギャップを埋める。
• 共有ランダムネスが利用可能な状況での正確な最適性の必要条件を同定する。
• 漸近的でない設定においても正確な最適性を達成するメカニズムを開発する（順序最適性のみでない）。
• LDPおよび通信制約を満たしつつ、コドワード間の分離を最大化する符号本生成戦略を設計する。
• 提案されたスキームが、通信予算を増加させると、既知の最適メカニズムであるPrivUnitに漸近的に収束することを示す。

提案手法

• 共有ランダムネスを用いて、ε-LDP制約下の損失圧縮問題として問題を定式化する。
• 「符号本を用いたランダムコーディング」を最適フレームワークとして導入し、サーバーとユーザーが共有ランダムネスを用いてサイズM=2^bの符号本を共同で生成する。
• 正確な最適性を達成するためには、符号本生成分布が回転対称的でなければならないことを証明する。
• ランダムに回転された正則単体からなる符号本を用いるランダム回転単体符号化（RRSC）を提案する。
• k-近い符号化を実装：ユーザーは入力ベクトルに最も近いk個の符号語を選択し、高い確率でそれらを送信する。
• この符号化が、ε-LDPおよびbビット通信制約下でRRSC符号本に対して正確な最適性を達成することを示す。

実験結果

リサーチクエスチョン

• RQ1 共有ランダムネスを用いた分散平均推定において、正確な最適性を達成するための符号本生成分布に必要な条件は何か？
• RQ2 通信およびε-LDP制約の両方を満たす条件下で、正確な最適性（順序最適性のみでない）を達成するメカニズムを構築できるか？
• RQ3 回転対称な符号本—特にランダムに回転された単体—を用いることで、ユーティリティとプライバシーのトレードオフはどのように改善されるか？
• RQ4 提案されたRRSCメカニズムと、PrivUnit や MMRC などの既存の順序最適メカニズムとの関係は何か？
• RQ5 符号語数Mが入力次元dを超過する場合にも、提案されたスキームを拡張可能か？

主な発見

• 共有ランダムネス下での正確な最適符号本生成分布は、回転対称的でなければならない。すなわち、ランダムな回転に対して不変でなければならない。
• k-近い符号化を用いたランダム回転単体符号化（RRSC）は、与えられた通信およびプライバシー制約下で正確な最適性を達成する。
• 提案されたメカニズムは、理論的下界に一致する平均二乗誤差（MSE）を達成しており、非漸近的領域において正確に最適である。
• 通信予算がb ≤ log d（すなわちM < d）を満たす場合、RRSC符号本は有効であり、最大のコドワード間分離により最適な性能を達成する。
• 通信予算bが増加するにつれて、提案されたスキームは、ε-LDP下で既知の最適メカニズムであるPrivUnitに漸近的に収束する。
• M ≥ dの場合でも、球面上でほぼ最大分離を達成するM個のベクトルを用いることで、同じ制約下で最適性を維持できるようにスキームを拡張可能である。