[論文レビュー] A New Approach to Adaptive Data Analysis and Learning via Maximal Leakage

Amedeo Roberto Esposito, Michael Gastpar+1 more|arXiv (Cornell University)|Mar 5, 2019

Privacy-Preserving Technologies in Data参考文献 21被引用数 7

ひとこと要約

この論文は、入力データからアルゴリズム出力への情報漏洩の程度を測る指標である最大漏洩量（maximal leakage）を用いた、適応的データ解析のための新規フレームワークを提案する。最大漏洩量を制限することで、古典的な不等式（例：McDiarmidの不等式）を一般化する一般化保証を導出し、微分プライバシーおよび最大情報量の結果を上回るか同等の性能を示す。これは、制限が緩く、かつ合成的特性に優れた代替手法であり、適応的学習および解析に適している。

ABSTRACT

There is an increasing concern that most current published research findings are false. The main cause seems to lie in the fundamental disconnection between theory and practice in data analysis. While the former typically relies on statistical independence, the latter is an inherently adaptive process: new hypotheses are formulated based on the outcomes of previous analyses. A recent line of work tries to mitigate these issues by enforcing constraints, such as differential privacy, that compose adaptively while degrading gracefully and thus provide statistical guarantees even in adaptive contexts. Our contribution consists in the introduction of a new approach, based on the concept of Maximal Leakage, an information-theoretic measure of leakage of information. The main result allows us to compare the probability of an event happening when adaptivity is considered with respect to the non-adaptive scenario. The bound we derive represents a generalization of the bounds used in non-adaptive scenarios (e.g., McDiarmid's inequality for $c$-sensitive functions, false discovery error control via significance level, etc.), and allows us to replicate or even improve, in certain regimes, the results obtained using Max-Information or Differential Privacy. In contrast with the line of work started by Dwork et al., our results do not rely on Differential Privacy but are, in principle, applicable to every algorithm that has a bounded leakage, including the differentially private algorithms and the ones with a short description length.

研究の動機と目的

• 仮説が以前の結果に基づいて繰り返し精錬される適応的データ解析によって引き起こされる誤った研究結果の危機に対処すること。
• 事前に指定された非適応的分析手順を仮定する伝統的な統計的手法の限界を克服すること。
• 適応的データ再利用の下でも有効である一般化フレームワークを構築し、微分プライバシーのような制限的な仮定に依存しないこと。
• 古典的な集中不等式を一般化し、広範な学習アルゴリズムに適用可能な統一的な情報理論的境界を提供すること。
• 最大漏洩量が、適応的設定における既存の指標（最大情報量や微分プライバシー）と比較して、より柔軟で解析可能な代替手段であることを示すこと。

提案手法

• 学習アルゴリズムを条件付き分布としてモデル化し、訓練データ $X$ から出力 $Y$ への情報漏洩の程度を最大漏洩量 $\mathcal{L}(X \to Y)$ で測定する。
• 適応的解析における事象 $E$ の確率に関する一般境界を導出する：$\mathbb{P}(E) \leq \max_y \mathcal{P}_X(E_y) \cdot \exp(\mathcal{L}(X \to Y))$。これは非適応的境界を一般化する。
• 最大漏洩量の合成性を確立する：$\mathcal{L}(X \to (A_1,\dots,A_n)) \leq \sum_{i=1}^n \mathcal{L}(X \to A_i | A_1,\dots,A_{i-1})$。これにより、逐次的解析の保証が可能になる。
• 最大漏洩量が後処理に対してロバストであり、有限の確率変数に対して有界であることを証明する。これは微分プライバシーとは異なり、無限になる可能性がある点と対照的である。
• 最大漏洩量が $\mathcal{L}(X \to Y) = \log \sum_y \max_{x: P(x)>0} P_{Y|X}(y|x)$ を通じて閉形式で計算可能であることを示し、実用的な解析を可能にする。
• 微分プライバシーを満たすアルゴリズムに対して $\mathcal{L}(X \to Y) \leq \epsilon n$ が成り立つことを示し、最大漏洩量が微分プライバシーと関連づけられるが、より制限が緩いことを示す。

実験結果

リサーチクエスチョン

• RQ1 仮説が以前の結果に基づいて選択される場合に、適応的データ解析に対して有効な一般化境界を導出できるか？
• RQ2 最大漏洩量は、柔軟性、タイトさ、計算の実行可能性の観点から、微分プライバシーおよび最大情報量と比較してどのように異なるか？
• RQ3 古典的な非適応的不等式を一般化しつつ、適応的設定において事象の確率を境界づけるために最大漏洩量を用いることができるか？
• RQ4 学習アルゴリズムを逐次的に適用した場合の最大漏洩量の合成性は何か？
• RQ5 特にプライバシー制約が厳しすぎる場合に、最大漏洩量は適応的データ解析における一般化を保証するための微分プライバシーの代替手段として実用的か？

主な発見

• 論文は、一般化された境界 $\mathbb{P}(E) \leq \max_y \mathcal{P}_X(E_y) \cdot \exp(\mathcal{L}(X \to Y))$ を導出し、これは McDiarmid の不等式および他の非適応的境界を適応的設定に一般化する。
• 最大漏洩量は、微分プライバシーおよび最大情報量よりもタイトで、より柔軟な代替手段であり、閉形式での計算が可能で、より優れた合成性を持つ。
• 著者らは、$\epsilon$-微分プライバシーを満たすアルゴリズムに対して $\mathcal{L}(X \to Y) \leq \epsilon n$ を証明し、最大漏洩量が同じ保証をより制限の緩い形で捉えていることを示した。
• 最大漏洩量は後処理に対してロバストであり、合成的に有界であるため、適応的クエリの系列の解析に適している。
• このフレームワークは、漏洩量が有界なすべてのアルゴリズムに適用可能であり、短い記述長を持つ非プライバシー型アルゴリズムを含むため、プライバシー保護手法に限らず広範に適用可能である。
• 漏洩量が低い場合に特に、最大情報量や微分プライバシーが用いられる領域で、既存の結果を同等または上回る性能を示した。