[論文レビュー] HypDB: Detect, Explain And Resolve Bias in OLAP.

Babak Salimi, Johannes Gehrke+1 more|arXiv (Cornell University)|Mar 12, 2018

Data Stream Mining Techniques被引用数 1

ひとこと要約

HypDB は、データ上の独立性検定を実行することで、OLAP クエリにおけるバイアスを検出し、説明し、解消するシステムです。検出されたバイアスについて人間が理解できる説明を提供し、バイアスのあるクエリをバイアスのない同等のものに自動で再書き換えします。このシステムは、1973年に発生した画期的な差別事件において、隠れたバイアスを発見し、自動的に重要なインサイトを明らかにしました。

ABSTRACT

On line analytical processing (OLAP) is an essential element of decision-support systems. OLAP tools provide insights and understanding needed for improved decision making. However, the answers to OLAP queries can be biased and lead to perplexing and incorrect insights. In this paper, we propose HypDB, a system to detect, explain, and to resolve bias in decision-support queries. We give a simple definition of a \emph{biased query}, which performs a set of independence tests on the data to detect bias. We propose a novel technique that gives explanations for bias, thus assisting an analyst in understanding what goes on. Additionally, we develop an automated method for rewriting a biased query into an unbiased query, which shows what the analyst intended to examine. In a thorough evaluation on several real datasets we show both the quality and the performance of our techniques, including the completely automatic discovery of the revolutionary insights from a famous 1973 discrimination case.

研究の動機と目的

• 意思決定支援システムにおける誤ったインサイトを引き起こす可能性がある OLAP クエリにおけるバイアスという重要な問題に対処すること。
• 統計的独立性検定を用いて多次元データにおけるバイアスを体系的に検出する方法を提供すること。
• クエリがなぜバイアスを含むのかを説明可能な形で提示することで、アナリストが根本原因を理解しやすくすること。
• アナリストの意図する分析内容を反映したバイアスのない形式に、バイアスのあるクエリを自動で再書き換えること。
• 実世界のデータセット、特に画期的な歴史的差別事例を含めて、システムの評価を行うこと。

提案手法

• HypDB は、次元とメジャーの間で統計的独立性が破られているクエリをバイアスのあるクエリと定義し、データ上の正式な独立性検定によってこれを検出する。
• 統計的仮説検定を用いて、OLAP 結果におけるバイアスを示す依存関係を同定する。
• システムは、データ内での違反を示す関数的および条件付き依存関係を分析することで、検出されたバイアスについて自然言語による説明を生成する。
• 自動クエリ再書き換え技術を適用して、バイアスのない同等のクエリにバイアスのあるクエリを変換する。
• 既存の OLAP ワークフローにスムーズに統合され、下位のデータやスキーマの変更が不要である。
• システムは、1973年に発生した有名な学術分野における性別差別事例を含む実データセットで評価されている。

実験結果

リサーチクエスチョン

• RQ1 統計的独立性検定を用いて、OLAP クエリにおけるバイアスを形式的に定義・検出する方法は何か？
• RQ2 アナリストがバイアスの原因を理解するのを助けるために、自動的に生成できる説明の種類は何か？
• RQ3 バイアスのある OLAP クエリを、アナリストの真の意図を反映したバイアスのない形式に自動で再書き換えできるか？
• RQ4 実世界のデータセットにおいて、以前に隠れていたり見過ごされていたインサイトを、このシステムはどれほど効果的に発見できるか？
• RQ5 実際の OLAP ワークロードにおいて、バイアス検出と解消の処理オーバーヘッドはどの程度か？

主な発見

• HypDB は、大学院進学における有名な1973年の性別差別事例においてバイアスを正常に検出し、Simpson のパラドックスのため当初の分析が誤解を招くものであったことを明らかにした。
• システムは、進学希望者による学部選択の交絡要因がデータに与える影響を特定し、明確で人間が理解できる説明を提供した。
• 自動クエリ再書き換えにより、各学部の真の進学パターンを正しく反映したバイアスのないクエリが生成された。
• 検出と説明のメカニズムは効率的かつスケーラブルであり、実データセット上でも実用的なパフォーマンスを示した。
• システムは、人為的介入なしに、1973年の事例における画期的なインサイト（学部レベルでは差別が認められないが、集計データでは差別があると示唆される）を発見した。