[論文レビュー] A Primer on Private Statistics

Gautam Kamath, Jonathan Ullman|arXiv (Cornell University)|Apr 30, 2020

Privacy-Preserving Technologies in Data参考文献 65被引用数 20

ひとこと要約

この論文は、微分プライバシーと統計的推定を統合することで、経験的および母集団ベースのプライベート統計的推定を統一的に扱い、一方の設定で開発された手法が他方の設定にも適用可能であることを示している。近年のプライベート平均推定、分布学習、仮説検定に関する進展を包括的に調査し、ミニマックス最適性とバイナリツリー手法のような実用的なメカニズムに焦点を当てる。

ABSTRACT

Differentially private statistical estimation has seen a flurry of developments over the last several years. Study has been divided into two schools of thought, focusing on empirical statistics versus population statistics. We suggest that these two lines of work are more similar than different by giving examples of methods that were initially framed for empirical statistics, but can be applied just as well to population statistics. We also provide a thorough coverage of recent work in this area.

研究の動機と目的

• 経験的および母集団ベースのプライベート統計的推定の取り扱いを統一し、それらの概念的および技術的類似性を示すこと。
• コンピュータサイエンス分野の文献から得られた主要な結果を統計的言語で提示し、分野間連携を促進すること。
• コルモゴロフ距離におけるプライベート平均推定および分布学習のミニマックス最適手法を強調すること。
• 最近の進展を調査し、適合度検定および独立性検定を含むプライベート仮説検定の、きつい標本サイズの境界を提示すること。
• ランダムグラフモデル（例：グラフンやβモデル）のパラメータ推定を含む、母集団レベルのパラメータ推定への、グラフのプライベート解析を拡張すること。

提案手法

• 微分プライバシーの枠組みを用いて、最悪のプライバシー条件下での期待損失最小化として、プライベート統計的推定を形式化し、平均的なデータ生成プロセスを組み込む。
• トレーシング攻撃と感度解析を適用し、プライベートな多変量平均推定におけるきついミニマックス下界を導出する。
• バイナリツリー手法を用いて、コルモゴロフ距離における分布の最適プライベート推定を達成する。
• 経験的グラフ解析から得られたリプシッツ拡張技術を、グラフンやβモデルなどの統計的グラフモデル推定に適応する。
• 小標本サイズにおける性能を向上させるために、古典的検定統計量（例：χ²、ANOVA）のプライベート版を導入・分析する。
• 近似分布と標本サイズの分析を用いて、プライベート仮説検定アルゴリズムの性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 経験的および母集団ベースのプライベート統計的推定は、定式化においてどのように異なり、どの程度相互に置き換え可能か？
• RQ2 多変量分布の平均をプライベートに推定する際のきついミニマックス下界は何か？
• RQ3 バイナリツリー手法は、コルモゴロフ距離において分布の最適プライベート推定を達成できるか？
• RQ4 離散分布におけるプライベート適合度検定および独立性検定のミニマックス標本サイズは何か？
• RQ5 経験的統計から母集団レベルのパラメータ推定への、グラフのプライベート解析をどのように拡張できるか？

主な発見

• トレーシング攻撃技術を用いて、プライベートな多変量平均推定におけるきついミニマックス下界が確立され、精度の根本的限界が示された。
• バイナリツリー手法は、コルモゴロフ距離における分布の最適プライベート推定を達成し、既知のミニマックスレートと一致する。
• プライベート適合度検定のミニマックス標本サイズは、きっちりと特徴づけられており、最近の研究で一致する上界と下界が確立された。
• プライベート仮説検定アルゴリズムは、小標本サイズでも有効であることが示され、生成された統計的分布を用いた性能の近似が可能となった。
• リプシッツ拡張技術を用いて、βモデルやグラフンのグラフパラメータのプライベート推定が可能であり、近年の計算効率向上の進展が見られた。
• 既存のメカニズムを用いて、プライベートの変化点検出およびプライベートANOVAが実現可能であり、基本的な推定を超えた広範な適用可能性が示された。