[論文レビュー] A necessary and sufficient stability notion for adaptive generalization

Katrina Ligett, Moshe Shenfeld|arXiv (Cornell University)|Jun 3, 2019

Privacy-Preserving Technologies in Data参考文献 23被引用数 4

ひとこと要約

本稿では、有界感度線形クエリにおける適応的一般化のための必要十分条件である、局所統計的安定性（LSS）という新しい安定性概念を導入する。LSSは、計算の出力がデータ要素の事後分布に与える影響を定量化し、適応性、後処理、合成の下でも一般化が堅牢に保たれることを保証する。微分プライバシーおよび他の既知の安定性概念がLSSを含むことが示されている。

ABSTRACT

We introduce a new notion of the stability of computations, which holds under post-processing and adaptive composition. We show that the notion is both necessary and sufficient to ensure generalization in the face of adaptivity, for any computations that respond to bounded-sensitivity linear queries while providing accuracy with respect to the data sample set. The stability notion is based on quantifying the effect of observing a computation's outputs on the posterior over the data sample elements. We show a separation between this stability notion and previously studied notion and observe that all differentially private algorithms also satisfy this notion.

研究の動機と目的

• 適応的データ解析における一般化を保証する、緩い安定性概念がどのように機能するかという未解決の問いに応える。
• 従来の概念とは異なり、後処理および適応的合成に対して堅牢な安定性概念を形式化する。
• 標本の正確性を仮定したもとで、有界感度線形クエリにおける安定性と一般化の正確な同値性を確立する。
• 事後分布のずれに基づく新しい理論枠組みを提示し、有害な計算出力を定量化する。
• 既存のメカニズム（例：微分プライバシーのアルゴリズム）が新しい安定性条件を満たすことを示し、新たな一般化保証を可能にする。

提案手法

• データ要素に事前分布を定義し、計算の出力条件下での事後分布を計算する。
• 個々のデータ要素における事前分布と事後分布の統計的距離を測る指標として、局所統計的安定性（LSS）を導入する。
• 任意のデータ要素の事後分布を著しく変化させる出力を生成する確率に対する確率的境界としてLSSを形式化する。
• 情報理論的および確率的議論を用いて、LSSが後処理および適応的合成の下でも保存されることを証明する。
• 直接的証明により、既知の安定性概念（例：微分プライバシー、Max Information、圧縮スキーム）からLSSへの含意関係を確立する。
• 分離定理を用いて、LSSがMax Information よりも厳密に弱く、LMI（局所Max情報）よりも厳密に強いことを示し、最適性を示す。

実験結果

リサーチクエスチョン

• RQ1 有界感度線形クエリにおける適応的データ解析の一般化を保証するための、必要十分な安定性概念とは何か？
• RQ2 提案された局所統計的安定性（LSS）は、微分プライバシーおよびMax Informationといった既存の安定性概念とどのように関係しているか？
• RQ3 LSSは後処理および適応的合成の下でも保存可能か？その場合、一般化保証にどのような影響を与えるか？
• RQ4 Max Information よりも強い安定性概念を満たさないがLSSを満たすメカニズムは存在するか？これにより、安定性概念の厳密な階層が示されるか？
• RQ5 自然なデータサンプリングノイズを活用することで、LSSを用いてよりタイトな一般化バウンディングを導出できるか？

主な発見

• 標本の正確性を仮定したもとで、局所統計的安定性（LSS）は、有界感度線形クエリにおける適応的一般化の必要十分条件である。
• 本稿では、LSSと従来の概念との間の分離を確立した：LSSは局所Max情報（LMI）よりも厳密に弱く、LMIはMax Information（MI）よりも厳密に弱い。
• 微分プライバシー、Max Information、通常の安定性、圧縮スキームはすべてLSSを含むため、それらの一般化特性を統一的に説明するフレームワークが得られた。
• 1つのデータ要素を一様にランダムに選択して出力するメカニズムは、(11√(ln(2n/δ)/n), δ)-LSSではあるが、(1, 1/(2n))-LMIではない。これにより、LSSがLMIよりも厳密に弱いかどうかが示された。
• サンプル集合のパリティを出力するメカニズムは、(ε,0)-LMIではあるが、(1,1/5)-MIではない。これにより、MIがLMIよりも厳密に強いことが証明された。
• LSSの上界は下界より1つのクエリを多く必要としており、安定性と一般化の同値性がほぼタイトであることが示された。