[論文レビュー] Preventing False Discovery in Interactive Data Analysis is Hard

Moritz Hardt, Jonathan Ullman|arXiv (Cornell University)|Aug 6, 2014

Privacy-Preserving Technologies in Data参考文献 3被引用数 23

ひとこと要約

この論文は、標準的な暗号的仮定のもとで、計算的に効率的なアルゴリズムが、未知の分布からの $ n $ 個の標本に対して、$ n^{3+o(1)} $ 個を超える適応的選択された統計的クエリを正確に答えられることはないことを示している。この結果は、インタラクティブなデータ分析における誤検出の防止に根本的な計算的障壁が存在することを確立し、この閾値を超えると、たとえ妥当な統計的答えであっても実行不可能になることを示している。

ABSTRACT

We show that, under a standard hardness assumption, there is no computationally efficient algorithm that given $n$ samples from an unknown distribution can give valid answers to $n^{3+o(1)}$ adaptively chosen statistical queries. A statistical query asks for the expectation of a predicate over the underlying distribution, and an answer to a statistical query is valid if it is "close" to the correct expectation over the distribution. Our result stands in stark contrast to the well known fact that exponentially many statistical queries can be answered validly and efficiently if the queries are chosen non-adaptively (no query may depend on the answers to previous queries). Moreover, a recent work by Dwork et al. shows how to accurately answer exponentially many adaptively chosen statistical queries via a computationally inefficient algorithm; and how to answer a quadratic number of adaptive queries via a computationally efficient algorithm. The latter result implies that our result is tight up to a linear factor in $n.$ Conceptually, our result demonstrates that achieving statistical validity alone can be a source of computational intractability in adaptive settings. For example, in the modern large collaborative research environment, data analysts typically choose a particular approach based on previous findings. False discovery occurs if a research finding is supported by the data but not by the underlying distribution. While the study of preventing false discovery in Statistics is decades old, to the best of our knowledge our result is the first to demonstrate a computational barrier. In particular, our result suggests that the perceived difficulty of preventing false discovery in today's collaborative research environment may be inherent.

研究の動機と目的

• 適応的選択された統計的クエリに答える際の計算的限界を調査すること。
• 計算的効率性と統計的妥当性が、インタラクティブなデータ分析の文脈で共存しうるかどうかを特定すること。
• 適応的クエリの数に対する、正確かつ効率的に答えられる上限を厳密に確立すること。
• 共同研究における誤検出を避けることの難しさが、本質的な計算困難性に起因する可能性があることを示すこと。
• 誤検出防止と暗号的ハードネス仮定との間の関係を形式化すること。

提案手法

• クエリが以前の回答に依存するという特徴を持つ、適応的データ分析を形式化する統計的クエリ（SQ）モデルを用いる。
• 正確なクエリ応答からの逸脱を検出できる攻撃を構築するために、ファングプリントコードを用いる。
• 特に、一方向関数の存在を仮定することで、下界を証明する計算的ハードネス仮定に依存する。
• 適応的アナリストをシミュレートするプライバシー保護型攻撃を設計し、オラクルがクエリを正確に答えているかどうかをテストする。
• ファングプリントコードの回復段階と攻撃段階を分析し、成功した推論の確率を上限づける。
• 情報理論的および計算的区別不能性の議論を適用し、クエリの正確性とプライバシー違反との関係を結びつける。

実験結果

リサーチクエスチョン

• RQ1 計算的に効率的なオラクルは、高精度で $ n^{3+o(1)} $ 個を超える適応的選択された統計的クエリに答えられるか？
• RQ2 インタラクティブなデータ分析における誤検出の防止に、根本的な計算的障壁が存在するか？
• RQ3 クエリ選択における適応性が、統計的妥当性を維持する可能性に与える影響は何か？
• RQ4 暗号的仮定を用いて、適応的設定における正確に答えられるクエリ数の下界を証明できるか？
• RQ5 適応的データ分析における統計的妥当性とプライバシーの関係は何か？

主な発見

• 一方向関数が存在すると仮定すれば、計算的に効率的なオラクルは、$ n^{3+o(1)} $ 個の適応的選択された統計的クエリを高精度で答えられることはない。
• この結果は、従来知られていた二次関数的上界が、$ n $ に関して線形要因の範囲でタイトであることを示しており、指数関数的クエリ処理は、計算的に非効率なオラクルでなければ不可能であることを示している。
• この論文は、誤検出の防止に計算的障壁が存在することを確立し、現代の共同研究における困難さが、本質的である可能性があることを示唆している。
• ファングプリントコードに基づくプライバシー攻撃は、不正確なオラクルを高確率で特定でき、統計的妥当性とプライバシー違反を結びつける。
• 情報理論的下界により、無制限のオラクルですら、$ n^{3+o(1)} $ 個の適応的クエリに答えるには、明確な非プライバシー的性質が不可避であることが確認された。
• 解析により、オラクルが正確であれば、攻撃段階で使用されなかった標本の集合は高確率で大きく保たれることを示しており、オラクルが情報漏洩をしている必要があることが示された。