[论文解读] Bias in OLAP Queries: Detection, Explanation, and Removal

Babak Salimi, Johannes Gehrke+1 more|arXiv (Cornell University)|Mar 12, 2018

Advanced Database Systems and Queries参考文献 11被引用 7

一句话总结

该论文提出HypDB，一种通过独立性检验和因果推断识别混杂变量来检测、解释并自动重写有偏见的OLAP查询的系统。它通过将有偏见的GROUP BY查询转换为反映真实处理效应的无偏查询，实现了决策支持系统中的准确因果分析，优于最先进因果发现方法，并从如1973年歧视诉讼案等真实案例中揭示了洞察。

ABSTRACT

On line analytical processing (OLAP) is an essential element of decision-support systems. OLAP tools provide insights and understanding needed for improved decision making. However, the answers to OLAP queries can be biased and lead to perplexing and incorrect insights. In this paper, we propose HypDB, a system to detect, explain, and to resolve bias in decision-support queries. We give a simple definition of a \emph{biased query}, which performs a set of independence tests on the data to detect bias. We propose a novel technique that gives explanations for bias, thus assisting an analyst in understanding what goes on. Additionally, we develop an automated method for rewriting a biased query into an unbiased query, which shows what the analyst intended to examine. In a thorough evaluation on several real datasets we show both the quality and the performance of our techniques, including the completely automatic discovery of the revolutionary insights from a famous 1973 discrimination case.

研究动机与目标

• 为应对观测数据中混杂变量导致OLAP决策支持系统中偏见洞察日益增长的风险。
• 通过在数据属性上执行统计独立性检验，检测GROUP BY OLAP查询中的偏见。
• 通过识别并排序扭曲查询结果的混杂属性，解释偏见的根本原因。
• 自动将有偏见的查询重写为反映因果效应而非虚假关联的无偏形式。
• 在无需事先了解因果DAG的前提下，实现在OLAP环境中交互式、实时的因果分析。

提出的方法

• 将有偏见的查询定义为：混杂属性Z在不同处理组T中的分布不同，违反了条件独立性。
• 执行一组统计独立性检验（如卡方检验、互信息）以检测给定查询的潜在混杂因子Z。
• 使用一种新颖算法，通过分析属性之间的条件依赖关系，高效计算候选协变量。
• 根据解释力和统计显著性对检测到的混杂因子进行排序，以优先考虑最相关的因素。
• 通过条件化在推断出的混杂因子（Z）上，重写原始OLAP查询，将其转换为计算平均处理效应的因果查询。
• 利用预计算的数据立方体加速条件概率和熵的计算，提升交互式使用场景下的性能。

实验结果

研究问题

• RQ1 如何通过统计独立性检验，正式定义并检测OLAP查询中的偏见？
• RQ2 哪些混杂属性解释了给定OLAP查询中的观测偏见？如何按相关性对它们进行排序？
• RQ3 能否自动重写查询以消除偏见，并计算真实的因果效应而非虚假关联？
• RQ4 与最先进因果发现方法相比，该系统在真实和合成数据集上的性能与准确性如何？
• RQ5 HypDB能否通过解决标准OLAP查询中的偏见，揭示有意义且可操作的洞察（如历史歧视案例中的洞察）？

主要发现

• HypDB通过统计独立性测试成功检测到OLAP查询中的偏见，即使在复杂的真实世界数据集中也能识别混杂变量。
• 该系统通过排序混杂属性来解释偏见，例如在航空延误案例中识别出机场分布的影响，阐明了总体结果与子组趋势相悖的原因。
• HypDB自动将有偏见的查询重写为计算无偏因果效应的形式，正确揭示了联合航空在每家机场的延误率更低，尽管总体平均值更高。
• 在混杂因子检测方面，该方法在精确率和召回率上均优于最先进因果DAG发现技术。
• HypDB揭示了1973年伯克利性别歧视案的核心洞察——总体数据显示偏见，但子组分析显示公平性，证明其具备揭示事后算法公平性洞察的能力。
• 预计算的数据立方体显著加速了HypDB的所有组件，使其实现实时决策支持工作流中的交互式使用成为可能。