[論文レビュー] Calibrating Noise to Variance in Adaptive Data Analysis

Vitaly Feldman, Thomas Steinke|arXiv (Cornell University)|Dec 19, 2017

Privacy-Preserving Technologies in Data参考文献 24被引用数 6

ひとこと要約

本稿では、KLダイバージェンスに基づく新しい安定性の概念を導入し、クエリの分散に合わせてノイズを補正することで、適応的データ解析におけるよりタイトな一般化バウンドを可能にする。提案手法は、各クエリの標準偏差にスケーリングされたガウスノイズを追加し、従来の微分プライバシー手法と比較して、低分散クエリにおいて顕著に高い精度を達成する。

ABSTRACT

Datasets are often used multiple times and each successive analysis may depend on the outcome of previous analyses. Standard techniques for ensuring generalization and statistical validity do not account for this adaptive dependence. A recent line of work studies the challenges that arise from such adaptive data reuse by considering the problem of answering a sequence of "queries" about the data distribution where each query may depend arbitrarily on answers to previous queries. The strongest results obtained for this problem rely on differential privacy -- a strong notion of algorithmic stability with the important property that it "composes" well when data is reused. However the notion is rather strict, as it requires stability under replacement of an arbitrary data element. The simplest algorithm is to add Gaussian (or Laplace) noise to distort the empirical answers. However, analysing this technique using differential privacy yields suboptimal accuracy guarantees when the queries have low variance. Here we propose a relaxed notion of stability that also composes adaptively. We demonstrate that a simple and natural algorithm based on adding noise scaled to the standard deviation of the query provides our notion of stability. This implies an algorithm that can answer statistical queries about the dataset with substantially improved accuracy guarantees for low-variance queries. The only previous approach that provides such accuracy guarantees is based on a more involved differentially private median-of-means algorithm and its analysis exploits stronger "group" stability of the algorithm.

研究の動機と目的

• 過去の結果に依存するクエリが生じる適応的データ解析における過学習の問題に取り組むこと。
• データが適応的に再利用される状況で、統計的クエリに対する精度を向上させること。
• 微分プライバシーを上回る、分散依存のノイズスケーリングをよりよく捉える安定性の概念を構築すること。
• クエリの分散に応じて適応する一般化保証を提供し、低分散クエリにおいて既存の微分プライバシー手法を上回ること。

提案手法

• KLダイバージェンスに基づく、適応的に合成可能な緩和された安定性概念であるALKL（Approximate KL）安定性を導入する。
• データセットとアルゴリズム出力の間の相互情報量を用いて一般化バウンドを導出することで、安定性と一般化の関連を確立する。
• 各クエリの経験的分布の標準偏差に応じてノイズをスケーリングするノイズ追加アルゴリズムを提案する。
• クエリ数とサンプルサイズの平方根に依存するパラメータ化されたノイズ分散を用い、クエリ固有の分散に適応する。
• コーシー＝シュバルツの不等式とモーメントバウンドを用いて、最悪ケースのクエリにおける誤差を制御し、ノイズ分布の対称性を活用する。
• 変換を用いてクエリと回答のペairを変形し、誤差バウンドが対称的かつ有界であることを保証する。

実験結果

リサーチクエスチョン

• RQ1 KLダイバージェンスに基づく安定性概念は、適応的データ解析において微分プライバシーを上回るよりタイトな一般化バウンドを提供できるか？
• RQ2 クエリの分散に合わせてノイズを補正することで、適応的クエリワークロードにおける精度を向上させられるか？
• RQ3 適応性の保証を損なわずに、低分散クエリに対してよりタイトな誤差バウンドを達成できるか？
• RQ4 データセットと出力の間の相互情報量を用いて、適応的設定において意味のある一般化バウンドを導出できるか？
• RQ5 分散に配慮したノイズ機構は、標準的な微分プライバシー機構よりも誤差スケーリングにおいて優れているか？

主な発見

• 提案されたALKL安定性の概念は、データセットとアルゴリズム出力の間の相互情報量バウンドを示し、よりタイトな一般化保証を可能にする。
• 最悪ケースのクエリに対して、一般化誤差バウンドが $ Oig(\tau \big) $ であることが示され、ここで $ \tau = \sqrt{\frac{\sqrt{2k\ln(2k)}}{n}} $ である。
• 正規化された期待誤差 $ \max\{\tau \cdot \mathrm{sd}(\psi_j), \tau^2\} $ は4未満に抑えられ、相対誤差に対する強い制御が示された。
• 低分散クエリにおいて、固定スケールのノイズを追加する従来の微分プライバシー手法と比較して、本手法は著しく高い精度を達成する。
• メジアン・オブ・ミーンズ手法の複雑さを回避しつつ、低分散クエリにおいて同等またはそれ以上の精度を達成する。
• 解析により、分散に配慮したノイズスケーリングが、適応的設定において最適またはほぼ最適の誤差スケーリングをもたらすことが示された。