[論文レビュー] Controlling Bias in Adaptive Data Analysis Using Information Theory

Daniel Russo, James Zou|arXiv (Cornell University)|Nov 16, 2015

Distributed Sensor Networks and Detection Algorithms被引用数 97

ひとこと要約

この論文は、同一データセット上の以前の結果に依存する分析選択を行う、適応的データ解析におけるバイアスを定量化および上限付けるために相互情報量を用いた情報理論的枠組みを導入する。この上限が自然なモデルにおいてタイトであることを証明し、特徴選択やノイズ追加といった手順がバイアスに関して厳密に評価可能であることを示し、適応的ワークフローにおける誤検出に対する保証を提供する。

ABSTRACT

Modern data is messy and high-dimensional, and it is often not clear a priori what are the right questions to ask. Instead, the analyst typically needs to use the data to search for interesting analyses to perform and hypotheses to test. This is an adaptive process, where the choice of analysis to be performed next depends on the results of the previous analyses on the same data. It's widely recognized that this process, even if well-intentioned, can lead to biases and false discoveries, contributing to the crisis of reproducibility in science. But while adaptivity renders standard statistical theory invalid, folklore and experience suggest that not all types of adaptive analysis are equally at risk for false discoveries. In this paper, we propose a general information-theoretic framework to quantify and provably bound the bias and other statistics of an arbitrary adaptive analysis process. We prove that our mutual information based bound is tight in natural models, and then use it to give rigorous insights into when commonly used procedures do or do not lead to substantially biased estimation. We first consider several popular feature selection protocols, like rank selection or variance-based selection. We then consider the practice of adding random noise to the observations or to the reported statistics, which is advocated by related ideas from differential privacy and blinded data analysis. We discuss the connections between these techniques and our framework, and supplement our results with illustrative simulations.

研究の動機と目的

• 分析者がデータに基づいて仮説を繰り返し選択する適応的データ解析によって引き起こされる科学的再現性危機に対処すること。
• 誠実な意図を持っていても、適応性の下で標準的統計的手法がなぜ失敗するかを特定すること。
• 任意の適応的分析プロセスにおけるバイアスを定量化する一般的で証明可能な手法を開発すること。
• 特徴選択やノイズ追加といった一般的な手法に対するバイアスの理論的保証を提供すること。
• 微分プライバシーと目隠し分析といった既存の概念と接続し、複数の手法論を統合する洞察を統合すること。

提案手法

• データと分析経路の間の依存度を測る相互情報量に基づく、適応的データ解析における推定量のバイアスの上限を提案する。
• 各クエリが同じデータセット上の以前の結果に依存するクエリの系列として、適応的分析プロセスを形式化する。
• データとクエリの系列との間の相互情報量に依存するバイアスの理論的上限を導出する。
• この上限が、正規位置母数モデルなどの自然な統計モデルにおいてタイトであることを示す。
• ランクベースおよび分散ベースの特徴選択を含む、具体的なプロトコルの評価にこの枠組みを適用する。
• 観測値または報告された統計量へのノイズ追加の影響を分析し、微分プライバシーおよび目隠し分析技術と関連付ける。

実験結果

リサーチクエスチョン

• RQ1 同じデータに対して以前の結果に依存する分析選択がなされる場合、適応的データ解析におけるバイアスを形式的にどのように定量化できるか？
• RQ2 ランクや分散に基づく一般的な特徴選択法——例えばランク選択や分散ベース選択——はどの程度バイアスを引き起こすのか。また、そのバイアスは上限をもつのか？
• RQ3 観測値や統計量へのノイズ追加はバイアスを制御するメカニズムとして機能するのか。また、提案された情報理論的枠組みとどのように関連するか？
• RQ4 データと分析経路との間の相互情報量は、推定におけるバイアスの大きさとどのように関係するか？
• RQ5 どのような設定で提案された相互情報量の上限がタイトになるのか。これは実用的なバイアス制御に何を意味するのか？

主な発見

• データとクエリの系列との間の相互情報量は、適応的データ解析プロセスにおける任意の推定量のバイアスの証明可能な上界を提供する。
• この上限は、正規位置母数モデルなどの自然なモデルにおいてタイトであり、理論的整合性を確認する。
• ランク選択や分散ベース選択といった特徉選択法は顕著なバイアスを引き起こすが、この枠組みによりそのバイアスが定量化され、説明可能である。
• 観測値や報告された統計量へのノイズ追加は相互情報量を低下させ、結果としてバイアスを上限付ける。これは微分プライバシーの知見と整合する。
• この枠組みは、すべての適応的プロトコルが同じくらいバイアスに脆弱であるわけではないことを明らかにし、安全な手法と危険な手法を区別する原理的根拠を提供する。
• シミュレーションにより、理論的上限がさまざまな適応的分析シナリオにおける実効バイアスと密接に一致することが確認された。