[論文レビュー] Communication Efficient, Sample Optimal, Linear Time Locally Private Discrete Distribution Estimation.

Jayadev Acharya, Ziteng Sun+1 more|arXiv (Cornell University)|Feb 13, 2018

Privacy-Preserving Technologies in Data被引用数 12

ひとこと要約

本稿では、$\varepsilon$-局所的微分プライバシー下での離散的分布推定に適した、通信効率が高く、サンプル数が最適であり、線形時間で動作するローカルプライバシー機構「ハダマードリスポンス（HR）」を提案する。ハダマード行列と高速ウォルシュ＝ハダマード変換を活用することで、HRは1ユーザーあたり$\log k + 2$ビットの通信量と、ほぼ線形時間$O(nk)$の計算量を達成し、$k=10,000$の条件下でRAPPOR やサブセット選択法と比較して最大100倍の高速化を実現した。本手法は、あらゆるプライバシー領域において順序的に最適なサンプル複雑度を保証する。

ABSTRACT

We consider discrete distribution estimation over $k$ elements under $\varepsilon$-local differential privacy from $n$ samples. The samples are distributed across users who send privatized versions of their sample to the server. All previously known sample optimal algorithms require linear (in $k$) communication complexity in the high privacy regime $(\varepsilon<1)$, and have a running time that grows as $n\cdot k$, which can be prohibitive for large domain size $k$. We study the task simultaneously under four resource constraints, privacy, sample complexity, computational complexity, and communication complexity. We propose \emph{Hadamard Response (HR)}, a local non-interactive privatization mechanism with order optimal sample complexity (for all privacy regimes), a communication complexity of $\log k+2$ bits, and runs in nearly linear time. Our encoding and decoding mechanisms are based on Hadamard matrices, and are simple to implement. The gain in sample complexity comes from the large Hamming distance between rows of Hadamard matrices, and the gain in time complexity is achieved by using the Fast Walsh-Hadamard transform. We compare our approach with Randomized Response (RR), RAPPOR, and subset-selection mechanisms (SS), theoretically, and experimentally. For $k=10000$, our algorithm runs about 100x faster than SS, and RAPPOR.

研究の動機と目的

• 高プライバシー領域（$\varepsilon < 1$）における、従来のローカル微分プライバシー機構の高い通信コストと計算コストを低減すること。
• $\varepsilon$-LDPのあらゆるプライバシー領域で最適なサンプル複雑度を達成するローカルプライバシー機構の設計。
• ユーザー1人あたりの通信複雑度を$\log k + 2$ビットに低減しながら、推定精度を維持すること。
• ほぼ線形時間$O(nk)$の実行時間の達成を図り、従来の$O(nk)$アルゴリズム（定数が大きい）を著しく上回ること。

提案手法

• 提案するハダマードリスポンス（HR）機構は、ハダマード行列に基づく非インタラクティブでローカルにプライバシー化する方式を採用する。
• 各ユーザーはハダマード行列の行を用いて自身のサンプルを符号化し、推定のための耐障害性を高めるために、コード語間のハミング距離を大きく保証する。
• サーバーは、プライバシー化された報告を効率的に復号し、元の分布を推定するために高速ウォルシュ＝ハダマード変換（FWHT）を適用する。
• ハダマード行列の直交性と高い距離特性を活用することで、最小限の通信量で推定誤差を最小限に抑える。
• 符号化および復号プロセスは計算負荷が低く抑えられており、ほぼ線形時間複雑度を実現する。
• 理論的分析により、HRがすべての$\varepsilon$-LDP領域で順序的に最適なサンプル複雑度を達成することが証明されている。

実験結果

リサーチクエスチョン

• RQ1 高プライバシー領域（$\varepsilon < 1$）において、最適なサンプル複雑度と非線形通信量を両立できるローカルプライバシー分布推定機構は構築可能か？
• RQ2 精度を維持したまま、ローカルプライバシー推定の計算複雑度を$O(nk)$からほぼ線形時間に低減することは可能か？
• RQ3 ハダマード行列の使用は、ローカル微分プライバシーにおける通信効率と推定精度をどのように向上させるか？
• RQ4 ランダムレスポンス、RAPPOR、サブセット選択といった従来の手法と比較して、HRの速度および通信量における性能向上はどの程度か？
• RQ5 高速ウォルシュ＝ハダマード変換は、大域的離散分布推定における復号を高速化するために効果的に利用可能か？

主な発見

• $k = 10,000$の条件下で、提案されたハダマードリスポンスアルゴリズムは、サブセット選択（SS）手法やRAPPORと比較して約100倍高速に動作する。
• HRの通信複雑度は、ユーザー1人あたり$\log k + 2$ビットにまで低減され、従来の$k$に比例するアプローチと比べて顕著に低い。
• HRは、高プライバシー領域（$\varepsilon < 1$）を含む、あらゆるプライバシー領域において順序的に最適なサンプル複雑度を達成する。
• 高速ウォルシュ＝ハダマード変換の活用により、ほぼ線形時間$O(nk)$の実行時間が達成され、従来の$O(nk)$アルゴリズムの高い定数を上回る性能を発揮する。
• 理論的および実験的結果から、HRは最小限の通信および計算オーバーヘッドで高い推定精度を維持することが確認された。
• ハダマード行列の行間の大きなハミング距離が、プライバシー化推定におけるサンプル効率の向上と耐障害性の強化に直接寄与している。