[論文レビュー] Castell: Scalable Joint Probability Estimation of Multi-dimensional Data Randomized with Local Differential Privacy

Hiroaki Kikuchi|arXiv (Cornell University)|Dec 3, 2022

Survey Sampling and Estimation Techniques被引用数 4

ひとこと要約

本稿では、各属性を独立にランダム化し、その結果得られるランダム化行列を集約することで、多次元同時確率分布の推定が可能なスケーラブルな局所的微分プライバシー（LDP）方式であるCastellを提案する。この手法により、計算コストが次元に線形に増加し、保存領域も管理可能となるため、集約行列の逆行列が効率的に計算可能となり、LoPubなどの先行研究と比較して顕著に高い精度を達成する。平均推定誤差は、切り捨て方式で0.0099、ハイブリッド方式で0.0155を記録し、それぞれLoPubの0.03および0.04と比較して顕著に低い。

ABSTRACT

Performing randomized response (RR) over multi-dimensional data is subject to the curse of dimensionality. As the number of attributes increases, the exponential growth in the number of attribute-value combinations greatly impacts the computational cost and the accuracy of the RR estimates. In this paper, we propose a new multi-dimensional RR scheme that randomizes all attributes independently, and then aggregates these randomization matrices into a single aggregated matrix. The multi-dimensional joint probability distributions are then estimated. The inverse matrix of the aggregated randomization matrix can be computed efficiently at a lightweight computation cost (i.e., linear with respect to dimensionality) and with manageable storage requirements. To overcome the limitation of accuracy, we propose two extensions to the baseline protocol, called {\em hybrid} and {\em truncated} schemes. Finally, we have conducted experiments using synthetic and major open-source datasets for various numbers of attributes, domain sizes, and numbers of respondents. The results using UCI Adult dataset give average distances between the estimated and the real (2 through 6-way) joint probability are $0.0099$ for {\em truncated} and $0.0155$ for {\em hybrid} schemes, whereas they are $0.03$ and $0.04$ for LoPub, which is the state-of-the-art multi-dimensional LDP scheme.

研究の動機と目的

• 次元の呪いに起因する多次元LDPにおけるドメインサイズと計算コストの指数的増加を克服すること。
• スケーラビリティと低い計算オーバーヘッドを維持しながら、高次元データにおける属性間の依存関係を保持すること。
• 独立ランダム化（RR-Independent）の精度制限と、高次元における結合ランダム化（RR-Joint）の非現実性を克服すること。
• LDPの保証のもとで多次元同時確率分布を推定する実用的で効率的かつ正確な手法を開発すること。
• プライバシー予算、次元数、推定精度のバランスを、適応的ハイブリッドおよび切り捨て方式を通じて実現するフレームワークを提供すること。

提案手法

• 各属性を独立にランダム化し、その結果得られるランダム化行列を統合する新しいRR方式、RR-Ind-Jointを提案する。
• 次元に線形に増加する計算コストと、d^wの保存領域コストを有する、集約ランダム化行列の効率的逆行列計算を可能にするCastellアルゴリズムを導入する。
• プライバシー予算、次元数、回答者数に基づき、RR-IndependentとRR-Ind-Jointの間で動的に切り替わるハイブリッドRR方式を提案する。
• ランダム化行列内の非ゼロ要素の数を制限することでノイズを低減し、精度を向上させる切り捨て方式を設計する。
• RR-Ind-JointおよびRR-Independent方式における推定誤差の理論的上限を導出し、パrameter選択の指針とする。
• 合成データおよび実世界のデータ（UCI Adultを含む）を用いて、次元数、ドメインサイズ、回答者数の変動に応じた性能評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 多次元データにおける属性の独立ランダム化と行列集約を組み合わせることで、LDPのもとで正確な同時確率推定が可能になるか？
• RQ2 Castellアルゴリズムは、次元に線形に増加する時間計算量と管理可能な保存領域を備えた、集約ランダム化行列の効率的逆行列計算を可能にするか？
• RQ3 ハイブリッド方式は、プライバシー予算、次元数、回答者数に応じて独立ランダム化と結合ランダム化の戦略を適応的に切り替えることで、推定精度をどのように向上させるか？
• RQ4 切り捨て方式は、ベースラインのRR-Ind-JointおよびRR-Independentと比較して、推定誤差をどの程度低減するか？
• RQ5 属性数やプライバシー予算の異なる条件下で、CastellはLoPub や LoCop などの最先端LDP方式と比較して、どの程度高い精度を示すか？

主な発見

• Castellアルゴリズムは、次元に線形に増加する計算コストと、d^wの保存領域コストを有することで、高次元データへのスケーラビリティを実現し、集約ランダム化行列の効率的逆行列計算を可能にする。
• UCI Adultデータセットにおいて、切り捨て方式は2〜6方向同時確率の平均推定誤差が0.0099にまで低下し、LoPubの0.03を上回る。
• ハイブリッド方式は平均誤差0.0155を記録し、同条件でのLoPubの0.04と比較して顕著に低い精度を示した。
• 提案されたハイブリッド方式は、プライバシー予算や次元数などの入力パrameterに応じてRR-IndependentとRR-Ind-Jointを切り替えることで、スケーラビリティと精度のバランスを効果的に実現した。
• RR-Ind-JointおよびRR-Independent方式における推定誤差の理論的上限を導出し、パrameter選択のための基礎を提供した。
• 実験結果から、Castellは合成データおよびオープンソースの実世界データを含む多様なデータセットと設定において、高い精度を維持することが示された。