[論文レビュー] Inferactive data analysis

Nan Bi, Jelena Markovic+2 more|arXiv (Cornell University)|Jul 20, 2017

Gaussian Processes and Bayesian Inference被引用数 6

ひとこと要約

この論文は、インタラクティブでデータ駆動のモデル選択の後でも有効な統計的推論を可能にするフレームワーク「インファクティブ・データ分析」を導入する。選択的推論とクエリおよびデータのDAG-DAGモデルを組み合わせることで、ランダム化選択的推論を用いて、頻度主義的保証（有効なp値や信頼区間）を提供する。これは、データの探索に基づいて後からモデルが選ばれた場合でも成立する。

ABSTRACT

We describe inferactive data analysis, so-named to denote an interactive approach to data analysis with an emphasis on inference after data analysis. Our approach is a compromise between Tukey's exploratory (roughly speaking "model free") and confirmatory data analysis (roughly speaking classical and "model based"), also allowing for Bayesian data analysis. We view this approach as close in spirit to current practice of applied statisticians and data scientists while allowing frequentist guarantees for results to be reported in the scientific literature, or Bayesian results where the data scientist may choose the statistical model (and hence the prior) after some initial exploratory analysis. While this approach to data analysis does not cover every scenario, and every possible algorithm data scientists may use, we see this as a useful step in concrete providing tools (with frequentist statistical guarantees) for current data scientists. The basis of inference we use is selective inference [Lee et al., 2016, Fithian et al., 2014], in particular its randomized form [Tian and Taylor, 2015a]. The randomized framework, besides providing additional power and shorter confidence intervals, also provides explicit forms for relevant reference distributions (up to normalization) through the {\em selective sampler} of Tian et al. [2016]. The reference distributions are constructed from a particular conditional distribution formed from what we call a DAG-DAG -- a Data Analysis Generative DAG. As sampling conditional distributions in DAGs is generally complex, the selective sampler is crucial to any practical implementation of inferactive data analysis. Our principal goal is in reviewing the recent developments in selective inference as well as describing the general philosophy of selective inference.

研究の動機と目的

• データの探索後に仮説が形成されるという『統計学の静かなスキャンダル』—古典的推論がそのような状況で失敗すること—を是正するため、インタラクティブなデータ分析後の推論のための原理的枠組みを提供すること。
• データサイエンティストが観察されたデータに基づいてモデルや仮説を選べるが、依然として統計的妥当性を保つように、探索的データ分析と形式的統計的推論を調和させること。
• LASSO、マージナルスクリーニング、フォワードステップワイズ選択などの一般的なデータサイエンスワークフローをサポートする、実用的で計算的に実行可能な推論アプローチを開発すること。
• LASSO やマージナルスクリーニングなどの複雑なアルゴリズムを含む、複数ステップにわたるインタラクティブなデータ分析に、選択的推論を拡張すること。そのために、クエリの依存関係と選択イベントをDAG-DAGで表現する。
• 実データ（HIVデータセットを含む）を用いてフレームワークの有効性を示し、再現可能性を確保するためのオープンソース実装を提供すること。

提案手法

• フレームワークは、データ依存のモデル選択後の推論のための有効な基準分布を構築するために、ランダム化選択的推論（Tian & Taylor, 2015a）を用いる。
• クエリの系列とその依存関係をモデル化するためのDAG-DAG（データ分析生成有向無閉路グラフ）を導入し、選択の経路に基づく条件付き推論を可能にする。
• Tianら（2016）の選択的サンプラーを用いて、選択イベント下での条件付き分布を生成し、複雑な条件付き分布であっても推論を計算的に可能にする。
• 各クエリに対して、選択イベントは最適化条件（例：LASSOにおけるアクティブ集合と符号）によって定義され、再構築写像とヤコビアン項を用いて連続条件付き密度が導出される。
• 複数ステップの推論は、クエリ間の選択イベントを合成することで実現され、最終的な密度はデータ密度、補助変数の事前分布、ヤコビアン項の積に比例する。
• 高次元回帰に対しては、事前選択統計量の漸近的正規性を用い、選択的中心極限定理を適用して推論を行う。

実験結果

リサーチクエスチョン

• RQ1 観測されたデータの後に統計モデルや仮説が選択された場合、どのように有効な統計的推論を実施できるか？
• RQ2 実世界のデータサイエンスワークフローにおけるインタラクティブでデータ駆動のモデル選択後の推論を、実用的で一般化可能な枠組みとしてどのように提供できるか？
• RQ3 選択的推論をLASSO やマージナルスクリーニングなどの複雑なアルゴリズムを含む、複数ステップにわたる逐次的クエリにどのように拡張できるか？
• RQ4 ランダム化は、選択後推論における検出力と計算的実行可能性を向上させる役割を果たすか？
• RQ5 DAG-DAG表現は、クエリと選択イベントの依存構造を効果的にモデル化し、スケーラブルで解釈可能な推論を可能にするか？

主な発見

• インファクティブ・データ分析フレームワークは、実HIVデータセットに対して2段階のクエリ（マージナルスクリーニングの後、LASSO）を実施した結果、有効なp値と信頼区間を提供することに成功した。
• ランダム化選択的推論は、非ランダム化の対応手法と比較して、統計的検出力を向上させ、信頼区間を短くする。これはLASSOベースの分析で確認された。
• 選択的サンプラーにより、複雑な条件付き分布からの効率的なサンプリングが可能となり、フレームワークの実用的利用に向けた計算的妥当性が確保された。
• DAG-DAGモデルは、逐次的クエリの依存構造を効果的に捉えており、複数のデータ分析ステップにわたるモジュラーや拡張可能な推論を可能にした。
• 選択イベントを最適化条件として表現することにより、LASSO、グループLASSO、フォワードステップワイズ、およびそれらの組み合わせを含む幅広いアルゴリズムをサポートする。
• 実装はGitHubで公開されており、再現可能性とデータサイエンスコミュニティへの採用を促進している。