[論文レビュー] Information, Privacy and Stability in Adaptive Data Analysis

Adam Smith|arXiv (Cornell University)|Jun 2, 2017

Privacy-Preserving Technologies in Data参考文献 42被引用数 4

ひとこと要約

この論文は、情報理論的測度、特にワンショット相互情報量と、適応的データ分析におけるロバストな一般化の間の基礎的関係を確立する。情報漏洩が制限されたアルゴリズム（例：微分プライバシーのメカニズムや圧縮方式）は、データが複数回の適応的クエリに再利用されても、安定した統計的推論を保証し、一般化誤差に関する形式的な保証を提供する。

ABSTRACT

Traditional statistical theory assumes that the analysis to be performed on a given data set is selected independently of the data themselves. This assumption breaks downs when data are re-used across analyses and the analysis to be performed at a given stage depends on the results of earlier stages. Such dependency can arise when the same data are used by several scientific studies, or when a single analysis consists of multiple stages. How can we draw statistically valid conclusions when data are re-used? This is the focus of a recent and active line of work. At a high level, these results show that limiting the information revealed by earlier stages of analysis controls the bias introduced in later stages by adaptivity. Here we review some known results in this area and highlight the role of information-theoretic concepts, notably several one-shot notions of mutual information.

研究の動機と目的

• 適応的データ再利用によって引き起こされる統計的危機に対処する。これは、選択バイアスのため、従来の推論手法が機能しないためである。
• 適応的解析設定における情報漏洩と一般化誤差の間の関係を形式化する。
• 特にワンショット相互情報量を含む、情報量が有界な測度が、統計的推論におけるロバスト性を保証することを示す。
• 微分プライバシー、圧縮など、異なるアプローチを共通の情報理論的枠組みで統合する。
• 情報漏洩が制限されたアルゴリズムのクラスを同定することで、原理的(post-selection)仮説検定を可能にする。

提案手法

• 分析メカニズムがデータに関して漏らす情報を測定するために、特に $ I_{\beta}^{ ext{inf}}({\bf X}; M({\bf X})) $ を用いたワンショット相互情報量を用いる。
• $ \beta $-ロバスト一般化の概念を適用し、$ \beta $ が推定におけるバイアス耐性を制御する。
• 微分プライバシーがワンショット情報の有界性を意味し、それによって定理14によりロバスト一般化が得られることを示す。
• 出力がデータの小さな部分集合（例：サポートベクター）である圧縮方式を分析し、$ L_{\infty}({\bf X}_{\text{in}}; {\bf X}_{\text{out}}) \leq \log_2 \binom{n}{k} $ を示す。
• 低情報漏洩は低過学習と相関しており、適応的クエリ後に有効な推論が可能になることを活用する。
• 2段階ゲームと安定性を結びつけるために「リフト」の概念を用い、情報量が有界であれば、適応的設定でも安定性が保証されることを示す。

実験結果

リサーチクエスチョン

• RQ1 同じデータが複数回の適応的解析に使われる場合、統計的推論がどのようにして有効に保たれるのか？
• RQ2 ワンショット相互情報量で測定される情報漏洩は、適応的データ分析におけるバイアス制御にどのような役割を果たすのか？
• RQ3 微分プライバシー、圧縮ベースなど、どのようなアルゴリズムクラス（例）が、情報漏洩が有界であるがゆえにロバスト一般化を内蔵しているのか？
• RQ4 情報理論的測度は、微分プライバシーと圧縮ベース学習といった、異なるアプローチを適応的設定で統合できるか？
• RQ5 適応的データ再利用下で、post-selection仮説検定をどのようにして原理的かつ有効に可能にするか？

主な発見

• パrameters $ (\epsilon, \delta) $ の微分プライバシーのメカニズムは、$ \beta = O(n\sqrt{\delta/\epsilon}) $ のとき $ I_{\infty}^{\beta}({\bf X}; M({\bf X})) = O(\epsilon^2 n) $ を達成し、ロバスト一般化を保証する。
• $ n $ ポイントのデータセットから $ k $ ポイントを出力する圧縮方式は、入力に関して最大 $ \log_2 \binom{n}{k} $ ビットの情報を漏らし、一般化の保証が得られる。
• このフレームワークは、線形クエリに関する既知の結果を回復し、仮説検定などの非線形問題へと拡張する。
• 微分プライバシーおよび圧縮ベースの方法を含む、ワンショット情報量が有界なアルゴリズムは、$ (O(\epsilon), O(n\sqrt{\delta/\epsilon})) $-ロバストに一般化可能である。
• 情報理論的フレームワークは、分析がデータに過学習しないように保証することで、原理的post-selection推論を支援する。
• 情報漏洩と一般化誤差の関係は、適応的データ分析における安定性を理解するための統合的視点を提供する。