[論文レビュー] Bias in OLAP Queries: Detection, Explanation, and Removal

Babak Salimi, Johannes Gehrke+1 more|arXiv (Cornell University)|Mar 12, 2018

Advanced Database Systems and Queries参考文献 11被引用数 7

ひとこと要約

この論文では、独立性検定と因果推論を用いて交絡変数を同定することで、バイアスのあるOLAPクエリを検出し、説明し、自動的に再書き換えするHypDBというシステムを紹介する。このシステムにより、真の処置効果を反映する偏りのないクエリにグループバイクエリを変換することで、意思決定支援システムにおける正確な因果分析が可能になる。これは最先端の因果発見手法を上回り、1973年の差別訴訟事例のような実世界の事例から洞察を明らかにする。

ABSTRACT

On line analytical processing (OLAP) is an essential element of decision-support systems. OLAP tools provide insights and understanding needed for improved decision making. However, the answers to OLAP queries can be biased and lead to perplexing and incorrect insights. In this paper, we propose HypDB, a system to detect, explain, and to resolve bias in decision-support queries. We give a simple definition of a \emph{biased query}, which performs a set of independence tests on the data to detect bias. We propose a novel technique that gives explanations for bias, thus assisting an analyst in understanding what goes on. Additionally, we develop an automated method for rewriting a biased query into an unbiased query, which shows what the analyst intended to examine. In a thorough evaluation on several real datasets we show both the quality and the performance of our techniques, including the completely automatic discovery of the revolutionary insights from a famous 1973 discrimination case.

研究の動機と目的

• 観測データにおける交絡要因によるOLAP意思決定支援システムにおけるバイアスのリスクが増大するのに対処する。
• データ属性に対する統計的独立性検定を実行することで、グループバイOLAPクエリにおけるバイアスを検出する。
• 結果を歪める交絡属性を同定し、順位付けすることでバイアスの根本的原因を説明する。
• 偏りのない形に自動的にクエリを再書き換えし、誤った関連性ではなく因果効果を反映させる。
• 事前に因果DAGを知らなくても、OLAP環境でインタラクティブかつリアルタイムの因果分析を可能にする。

提案手法

• 交絡要因Zの分布が処置群Tごとに異なる場合、そのクエリをバイアスありと定義し、条件付き独立性が破られる。
• カイ二乗検定、相互情報量などの統計的独立性検定を実行し、特定のクエリに対して潜在的な交絡要因Zを検出する。
• 属性間の条件付き依存関係を分析することで、候補となる共変量を効率的に計算する新しいアルゴリズムを用いる。
• 説明力と統計的有意性に基づいて検出された交絡要因を順位付けし、最も関連性の高いものを優先する。
• 推定された交絡要因（Z）に条件付けた上で、元のOLAPクエリを再書き換えし、平均処置効果を計算する因果クエリに変換する。
• 事前に計算されたデータキューブを活用し、条件付き確率およびエントロピーの計算を高速化することで、インタラクティブ利用におけるパフォーマンスを向上させる。

実験結果

リサーチクエスチョン

• RQ1 統計的独立性検定を用いて、OLAPクエリのバイアスを形式的に定義・検出することは可能か？
• RQ2 特定のOLAPクエリにおける観察されたバイアスを説明する交絡属性は何か？ そして、それらを関連性の高さ順に順位付けすることは可能か？
• RQ3 バイアスを排除し、誤った関連性ではなく真の因果効果を計算するようにクエリを自動的に再書き換えることは可能か？
• RQ4 実データおよび合成データセットにおいて、HypDBのパフォーマンスと正確性は最先端の因果発見手法と比べてどうか？
• RQ5 HypDBは、標準的なOLAPクエリのバイアスを解消することで、歴史的差別事例のような意味のある、実行可能な洞察（例：1973年のバークレーの性差別訴訟）を明らかにできるか？

主な発見

• HypDBは、複雑な実世界データセットでさえも、統計的独立性検定を用いて交絡要因を同定することで、OLAPクエリのバイアスを効果的に検出する。
• システムは交絡属性を順位付けすることでバイアスを説明し、例として航空会社遅延事例における空港の分布のような要因を明確にし、集計結果とサブグループの傾向が矛盾する理由を解明する。
• HypDBはバイアスのあるクエリを自動的に再書き換えし、偏りのない因果効果を計算する。例では、ユニティッドエアラインズが空港単位では遅延率が低かったが、全体の平均では高かったという真の状況を正しく明らかにする。
• 交絡要因検出において、最先端の因果DAG発見手法に比べ、精度と再現率の両面で優れている。
• HypDBは、1973年のバークレーの性差別訴訟の核心的洞察——集計データでは差別があるように見え、しかしサブグループ分析では公平であった——を解明し、後からアルゴリズムの公平性に関する洞察を明らかにできることを示した。
• 事前に計算されたデータキューブは、HypDBのすべてのコンponentを顕著に高速化し、リアルタイム意思決定ワークフローにおけるインタラクティブ利用を可能にした。