[論文レビュー] Near Instance-Optimality in Differential Privacy

Hilal Asi, John C. Duchi|arXiv (Cornell University)|May 16, 2020

Privacy-Preserving Technologies in Data参考文献 36被引用数 4

ひとこと要約

本稿では、局所ミニマックスリスクと不偏推定の境界を定義することで、微分プライバシーにおけるインスタンス最適性を導入した。局所連続性のモジュラスが推定量の最適誤差を完全に決定することを示した。逆感度メカニズムを提案し、データインスタンスに適応する。連続関数および中央値や回帰といったロバスト推定量に対して、スムーズ感度とラプラスメカニズムを常に上回る性能を発揮する。

ABSTRACT

We develop two notions of instance optimality in differential privacy, inspired by classical statistical theory: one by defining a local minimax risk and the other by considering unbiased mechanisms and analogizing the Cramer-Rao bound, and we show that the local modulus of continuity of the estimand of interest completely determines these quantities. We also develop a complementary collection mechanisms, which we term the inverse sensitivity mechanisms, which are instance optimal (or nearly instance optimal) for a large class of estimands. Moreover, these mechanisms uniformly outperform the smooth sensitivity framework on each instance for several function classes of interest, including real-valued continuous functions. We carefully present two instantiations of the mechanisms for median and robust regression estimation with corresponding experiments.

研究の動機と目的

• 最悪ケースのバインドではなく、データに依存する難易度を反映するインスタンス固有の最適性の概念を、微分プライバシーにおいて開発すること。
• 古典的なクラーマー・ラオの下界に類似した、局所ミニマックスリスクと不偏推定を用いたプライベートメカニズムの下界を確立すること。
• データインスタンスに適応する新しいメカニズムクラス、逆感度メカニズムを設計し、近似的にインスタンス最適性を達成すること。
• 関数クラス全体にわたり、スムーズ感度やラプラスメカニズムといった既存フレームワークを常に上回ることを示すこと。
• 理論的および実験的妥当性を伴って、中央値やロバスト回帰といった連続推定量へこの枠組みを拡張すること。

提案手法

• データセットにおける関数の局所連続性のモジュラスが誤差の下限を決定する、プライベートな局所ミニマックスフレームワークを用いて、インスタンス固有の下界を定義する。
• 局所感度の逆数を用いる、逆感度メカニズムを導入。これは指数メカニズムとして定式化され、$\mathbb{P}(M(\mathbf{x})=t) \propto \exp(-\mathsf{len}_f(\mathbf{x};t)\varepsilon/2)$ と表される。
• 連続推定量に対しては、$\mathsf{len}_f(\mathbf{x};t)$ を、$f(\mathbf{x}')=t$ を満たすデータセットへのハミング距離の最小値として定義することで、逆感度の連続版を構築する。
• 変数変換と回転対称性を用いて、$\pi(t) \propto \exp(-\|A t\|)$ からのサンプリングを可能にし、高次元でも効率的なサンプリングを実現する。
• テイラー展開と誤差バインドを用いて、目的密度 $\pi$ と二次近似 $q$ の比が0から離れていることを示し、近似的最適性を保証する。
• 中央値およびロバスト回帰の実験的検証により、ラプラスおよびスムーズ感度メカニズムよりも高い精度を達成することを示した。

実験結果

リサーチクエスチョン

• RQ1 微分プライバシーにおけるインスタンス固有の下界は、特定のデータセットにおけるプライベート推定の真の難易度を反映するように定義可能か？
• RQ2 プライベートメカニズムは、最悪ケースのグローバル感度に依存するのではなく、データセットの局所構造にどれほど適応できるか？
• RQ3 中央値や連続的・ロバストな推定量を含む多様な関数クラスにわたり、近似的にインスタンス最適性を達成するメカニズムクラスは存在するか？
• RQ4 逆感度メカニズムは、スムーズ感度およびラプラスメカニズムと比較して、誤差と適応性の面でどの程度優れているか？
• RQ5 逆感度メカニズムの理論的最適性は、証明可能な性能保証を伴って、連続出力空間へ拡張可能か？

主な発見

• 推定量の局所連続性のモジュラスが、インスタンス固有のミニマックスリスクおよび不偏推定の下界を完全に決定する。
• 同じデータセットにおいて、逆感度メカニズムは、任意の他の $\varepsilon$-微分プライベートメカニズムよりも真の値 $f(\mathbf{x})$ を返す確率が高い。
• $\mathbb{R}$-値連続関数に対して、逆感度メカニズムは、すべてのインスタンスでラプラスおよびスムーズ感度メカニズムを均一に上回る。
• 中央値推定において、逆感度メカニズムは、スパースまたは非対称なデータにおいて、ラプラスおよびスムーズ感度よりも顕著に低い誤差を達成する。
• ロバスト回帰において、汚染下でも高い精度を維持し、データに適応するノイズスケーリングのおかげでベースライン手法を上回る。
• 理論的分析により、目的密度 $\pi$ とその二次近似 $q$ の比が0から離れていることが確認され、近似的最適性が保証される。