[論文レビュー] Local Dampening: Differential Privacy for Non-numeric Queries via Local Sensitivity

Victor A. E. Farias, Felipe T. Brito+4 more|arXiv (Cornell University)|Dec 7, 2020

Privacy-Preserving Technologies in Data被引用数 6

ひとこと要約

本稿では、局所感度を活用してノイズを低減し、有用性を向上させる、非数値クエリ向けの画期的な微分プライバシー枠組みであるローカルダミングを紹介する。非数値出力に局所感度を適応させることで、パーセンタイル選択において最大73%低い誤差、インパクトのあるノード分析において2〜4桁のプライバシー予算使用量の削減、決定木の誘導において従来のグローバル感度ベースの手法と比較して最大12%高い精度を達成した。

ABSTRACT

Differential privacy is the state-of-the-art formal definition for data release under strong privacy guarantees. A variety of mechanisms have been proposed in the literature for releasing the output of numeric queries (e.g., the Laplace mechanism and smooth sensitivity mechanism). Those mechanisms guarantee differential privacy by adding noise to the true query's output. The amount of noise added is calibrated by the notions of global sensitivity and local sensitivity of the query that measure the impact of the addition or removal of an individual on the query's output. Mechanisms that use local sensitivity add less noise and, consequently, have a more accurate answer. However, although there has been some work on generic mechanisms for releasing the output of non-numeric queries using global sensitivity (e.g., the Exponential mechanism), the literature lacks generic mechanisms for releasing the output of non-numeric queries using local sensitivity to reduce the noise in the query's output. In this work, we remedy this shortcoming and present the local dampening mechanism. We adapt the notion of local sensitivity for the non-numeric setting and leverage it to design a generic non-numeric mechanism. We provide theoretical comparisons to the exponential mechanism and show under which conditions the local dampening mechanism is more accurate than the exponential mechanism. We illustrate the effectiveness of the local dampening mechanism by applying it to three diverse problems: (i) percentile selection problem. We report the p-th element in the database; (ii) Influential node analysis. Given an influence metric, we release the top-k most influential nodes while preserving the privacy of the relationship between nodes in the network; (iii) Decision tree induction. We provide a private adaptation to the ID3 algorithm to build decision trees from a given tabular dataset.

研究の動機と目的

• 非数値クエリ向けの一般的な微分プライバシー機構が、局所感度を用いてノイズを低減する仕組みを欠いているという問題に対処すること。
• 従来、数値クエリにのみ用いられてきた局所感度を、非数値クエリ出力に適応するフレームワークを設計すること。
• 実世界の応用分野、たとえばパーセンタイル選択、インパクトのあるノード検出、決定木の誘導におけるプライベートデータ分析の精度と効率を向上させること。
• 局所感度ベースのノイズ補正が非数値環境においてグローバル感度を上回ることを理論的および実験的に裏付けること。
• 微分プライバシーの適用範囲を数値出力にとどめず、非数値分野へ拡張する基盤を築くこと。

提案手法

• ローカルダミング機構は、クエリの局所感度を、入力データベースインスタンス上で、1人の個人を追加または削除した場合のユーティリティスコアの最大変化量として定義することで、非数値クエリ出力への局所感度の概念を拡張する。
• 微分プライバシーを保証するため、出力空間から、exp(−ε × (ユーティリティスコア − 局所感度)) 比例の確率分布に従ってサンプリングする摂動戦略を用いる。
• ユーティリティスコアを局所感度に基づいてスケーリングするダミング関数を導入し、高感度入力の影響を軽減し、ノイズを最小化する。
• 決定木の誘導においては、ID3アルゴリズムを変更し、情報ゲイン度にローカルダミングを適用することで、プライベートにスプリット属性を選択する。
• 属性順位の逆転問題を軽減するために、シフトされたバリエーションであるShiftedLocalDiffPID3を導入し、ノイズ下でも順位順序を保持するようにユーティリティ関数を調整する。
• 本手法は、実世界の表形式データセットを用いた3つの応用分野（パーセンタイル選択、グラフ内のインパクトのあるノード分析、プライベートな決定木の誘導）で評価された。

実験結果

リサーチクエスチョン

• RQ1 局所感度を非数値クエリ出力に意味的に拡張することで、微分プライバシー機構におけるノイズ低減が可能になるか？
• RQ2 非数値環境下で、局所感度ベースのノイズ補正がグローバル感度を上回る条件は何か？
• RQ3 ローカルダミング機構は、パーセンタイル選択、インパクトのあるノード分析、決定木の誘導において、精度とプライバシー予算効率をどのように向上させるか？
• RQ4 非数値クエリワークロードにおいて、本機構はエキスパンショナルメカニズムと比較して、誤差低減と有用性向上をどの程度達成するか？
• RQ5 本機構は、プライベートな決定木学習における順位の不安定性（例：属性順位の逆転）を処理するために、どのように適合可能か？

主な発見

• パーセンタイル選択問題において、ローカルダミング機構はグローバル感度ベースの手法と比較して、誤差を最大73%低減した。
• インパクトのあるノード分析において、本機構はエキスパンショナルメカニズムと比較して、プライバシー予算の使用量を2〜4桁削減した。
• 決定木の誘導において、LocalDiffPID3はエキスパンショナルメカニズムを用いたグローバル感度ベースのベースライン（GlobalDiffPID3）と比較して、最大12%高い精度を達成した。
• ShiftedLocalDiffPID3のバリエーションは、深さのある木において属性順位の逆転問題を緩和し、ACSデータセットではグローバル感度ベースラインと比較して最大8%の精度向上を達成した。
• AdultおよびNLTCSデータセットでは、LocalDiffPID3はグローバル感度ベースの手法と比較して最大5%の精度向上を達成したが、ShiftedLocalDiffPID3はさらに最大4%の追加向上を達成した。
• 理論的分析により、入力データベースが最悪ケースから離れている場合、局所感度ベースのノイズ補正がグローバル感度よりも期待誤差が低くなることが確認された。