[论文解读] Inferactive data analysis

Nan Bi, Jelena Markovic+2 more|arXiv (Cornell University)|Jul 20, 2017

Gaussian Processes and Bayesian Inference被引用 6

一句话总结

本文提出了「推断性数据分析」（inferactive data analysis）框架，该框架可在交互式、数据驱动的模型选择后实现有效的统计推断。通过结合选择性推断与查询和数据的DAG-DAG模型，即使在基于数据探索后向后选择模型的情况下，该框架也能通过随机化选择性推断提供频率学保证，例如有效的p值和置信区间。

ABSTRACT

We describe inferactive data analysis, so-named to denote an interactive approach to data analysis with an emphasis on inference after data analysis. Our approach is a compromise between Tukey's exploratory (roughly speaking "model free") and confirmatory data analysis (roughly speaking classical and "model based"), also allowing for Bayesian data analysis. We view this approach as close in spirit to current practice of applied statisticians and data scientists while allowing frequentist guarantees for results to be reported in the scientific literature, or Bayesian results where the data scientist may choose the statistical model (and hence the prior) after some initial exploratory analysis. While this approach to data analysis does not cover every scenario, and every possible algorithm data scientists may use, we see this as a useful step in concrete providing tools (with frequentist statistical guarantees) for current data scientists. The basis of inference we use is selective inference [Lee et al., 2016, Fithian et al., 2014], in particular its randomized form [Tian and Taylor, 2015a]. The randomized framework, besides providing additional power and shorter confidence intervals, also provides explicit forms for relevant reference distributions (up to normalization) through the {\em selective sampler} of Tian et al. [2016]. The reference distributions are constructed from a particular conditional distribution formed from what we call a DAG-DAG -- a Data Analysis Generative DAG. As sampling conditional distributions in DAGs is generally complex, the selective sampler is crucial to any practical implementation of inferactive data analysis. Our principal goal is in reviewing the recent developments in selective inference as well as describing the general philosophy of selective inference.

研究动机与目标

• 为解决统计学中的‘沉默的 scandal’——即当假设在数据探索后形成时经典推断会失效的问题——提出一种在交互式数据分析后进行推断的系统性框架。
• 通过允许数据科学家基于观测数据选择模型和假设，同时保持统计有效性，弥合探索性数据分析与正式统计推断之间的鸿沟。
• 开发一种实用且计算上可行的推断方法，支持常见的数据科学工作流程，包括LASSO、边际筛选和前向逐步选择。
• 通过查询依赖关系与选择事件的DAG-DAG表示，将选择性推断扩展至多步、交互式数据分析。
• 通过真实数据（包括一个真实的HIV数据集）展示该框架的实用性，并提供开源实现以确保可复现性。

提出的方法

• 该框架使用随机化选择性推断（Tian & Taylor, 2015a）构建在数据依赖模型选择后有效的参考分布。
• 引入DAG-DAG（数据生成有向无环图）以建模查询序列及其依赖关系，从而实现基于选择路径的条件推断。
• 使用Tian等人（2016）提出的选择性采样器，生成选择事件下的条件分布，使复杂条件下的推断在计算上变得可行。
• 针对每个查询，通过优化条件（如LASSO中的活动集与符号）定义选择事件，并利用重构映射与雅可比项推导联合条件密度。
• 通过组合多个查询的选择事件实现多步推断，最终密度与数据密度、辅助变量的先验密度以及雅可比项的乘积成比例。
• 通过利用预选择统计量的渐近正态性，并应用选择性中心极限定理，该框架可处理高维回归问题。

实验结果

研究问题

• RQ1 当统计模型和假设在观察数据后选择时，如何实现有效的统计推断？
• RQ2 在真实世界的数据科学工作流程中，如何构建一种实用且可推广的交互式、数据驱动模型选择后的推断框架？
• RQ3 如何将选择性推断扩展至涉及LASSO和边际筛选等复杂算法的多步、序列查询？
• RQ4 随机化在提升事后推断的统计功效与计算可行性方面起到什么作用？
• RQ5 DAG-DAG表示能否有效建模查询与选择事件之间的依赖结构，从而实现可扩展且可解释的推断？

主要发现

• 推断性数据分析框架在真实HIV数据集上对两阶段查询（包括边际筛选后接LASSO）成功提供了有效的p值与置信区间。
• 与非随机化方法相比，随机化选择性推断在LASSO分析中显著提升了统计功效并缩短了置信区间。
• 选择性采样器能够高效地从复杂条件分布中抽样，使该框架在实际应用中具备计算可行性。
• DAG-DAG模型有效捕捉了序列查询的依赖结构，支持在多个数据分析步骤中实现模块化与可扩展的推断。
• 通过将选择事件表达为优化条件，该框架可支持广泛的算法，包括LASSO、组LASSO、前向逐步选择及其组合。
• 该框架的实现已公开发布于GitHub，支持可复现性，并可被数据科学社区广泛采用。