[论文解读] HypDB: Detect, Explain And Resolve Bias in OLAP.

Babak Salimi, Johannes Gehrke+1 more|arXiv (Cornell University)|Mar 12, 2018

Data Stream Mining Techniques被引用 1

一句话总结

HypDB 是一种系统，通过在数据上执行独立性检验来检测、解释并解决 OLAP 查询中的偏见，为检测到的偏见提供人类可读的解释，并自动将有偏见的查询重写为无偏见的等效形式。该系统成功揭示了1973年一起标志性歧视案件中的隐藏偏见，展示了其自动揭示关键洞察的能力。

ABSTRACT

On line analytical processing (OLAP) is an essential element of decision-support systems. OLAP tools provide insights and understanding needed for improved decision making. However, the answers to OLAP queries can be biased and lead to perplexing and incorrect insights. In this paper, we propose HypDB, a system to detect, explain, and to resolve bias in decision-support queries. We give a simple definition of a \emph{biased query}, which performs a set of independence tests on the data to detect bias. We propose a novel technique that gives explanations for bias, thus assisting an analyst in understanding what goes on. Additionally, we develop an automated method for rewriting a biased query into an unbiased query, which shows what the analyst intended to examine. In a thorough evaluation on several real datasets we show both the quality and the performance of our techniques, including the completely automatic discovery of the revolutionary insights from a famous 1973 discrimination case.

研究动机与目标

• 解决 OLAP 查询中的偏见问题，因为此类偏见可能导致决策支持系统中的误导性洞察。
• 通过统计独立性检验，为多维数据中的偏见检测提供系统化方法。
• 提供可解释的说明，解释为何某个查询存在偏见，帮助分析人员理解根本原因。
• 自动将有偏见的查询重写为无偏见的形式，以反映分析人员的真实分析意图。
• 在真实世界数据集上评估系统，包括一起具有历史意义的歧视案件。

提出的方法

• HypDB 将有偏见的查询定义为违反维度与度量之间统计独立性的查询，通过在数据上执行正式的独立性检验来检测。
• 采用统计假设检验来识别表明 OLAP 结果中存在偏见的依赖关系。
• 通过分析数据中违反的函数依赖和条件依赖关系，自动生成自然语言解释以说明检测到的偏见。
• 应用自动查询重写技术，将有偏见的查询转换为反映预期分析意图的无偏见等效形式。
• 该方法可无缝集成到现有 OLAP 工作流中，无需对底层数据或模式进行任何更改。
• 系统在真实数据集上进行了评估，包括一起著名的1973年学术界性别歧视案例。

实验结果

研究问题

• RQ1 如何使用统计独立性检验，正式定义并检测 OLAP 查询中的偏见？
• RQ2 系统可以自动生成何种类型的解释，以帮助分析人员理解偏见的根源？
• RQ3 系统能否自动将有偏见的 OLAP 查询重写为无偏见版本，以反映分析人员的真实意图？
• RQ4 该系统在揭示真实世界数据集中先前隐藏或被忽视的洞察方面效果如何？
• RQ5 在实际 OLAP 工作负载中，偏见检测与解决的性能开销如何？

主要发现

• HypDB 在一起著名的1973年研究生入学性别歧视案例中成功检测到偏见，揭示了初始分析因辛普森悖论而具有误导性。
• 该系统为偏见提供了清晰、人类可读的解释，识别出院系选择在入学数据中起到了混杂因素的作用。
• 自动查询重写生成了无偏见的查询，正确反映了各院系间真实的录取模式。
• 检测与解释机制高效且可扩展，在真实数据集上表现出实用性能。
• 系统在无需人工干预的情况下，自动揭示了1973年案件的“革命性洞察”——即院系层面数据未显示歧视，但汇总数据却显示出相反趋势。