[논문 리뷰] Bias in OLAP Queries: Detection, Explanation, and Removal

Babak Salimi, Johannes Gehrke외 1명|arXiv (Cornell University)|2018. 03. 12.

Advanced Database Systems and Queries참고 문헌 11인용 수 7

한 줄 요약

이 논문은 독립성 검증과 원인 분석을 통해 혼동 변수를 식별함으로써 편향된 OLAP 쿼리를 탐지하고 설명하며 자동으로 수정하는 HypDB 시스템을 소개한다. 이는 진정한 치료 효과를 반영하는 편향 없는 쿼리로 그룹 바이 쿼리를 변환함으로써 의사결정 지원 시스템에서 정확한 원인 분석을 가능하게 하며, 최신의 원인 발견 기법들을 능가하고 실제 사례(1973년 차별 소송 사건 등)로부터 통찰을 도출한다.

ABSTRACT

On line analytical processing (OLAP) is an essential element of decision-support systems. OLAP tools provide insights and understanding needed for improved decision making. However, the answers to OLAP queries can be biased and lead to perplexing and incorrect insights. In this paper, we propose HypDB, a system to detect, explain, and to resolve bias in decision-support queries. We give a simple definition of a \emph{biased query}, which performs a set of independence tests on the data to detect bias. We propose a novel technique that gives explanations for bias, thus assisting an analyst in understanding what goes on. Additionally, we develop an automated method for rewriting a biased query into an unbiased query, which shows what the analyst intended to examine. In a thorough evaluation on several real datasets we show both the quality and the performance of our techniques, including the completely automatic discovery of the revolutionary insights from a famous 1973 discrimination case.

연구 동기 및 목표

• 관찰 데이터에서의 혼동 변수로 인한 편향된 통찰의 증가하는 위험을 해결하기 위해.
• 데이터 속성 간의 통계적 인자성 검증을 수행하여 그룹 바이 OLAP 쿼리의 편향을 탐지하기 위해.
• 쿼리 결과를 왜곡하는 혼동 속성들을 식별하고 순위를 매김으로써 편향의 근본 원인을 설명하기 위해.
• 편향된 쿼리를 원인 효과를 반영하는 편향 없는 형태로 자동으로 재작성하기 위해.
• 원인 다이어그램(DAG)에 대한 사전 지식 없이도 OLAP 환경에서 상호작용적이고 실시간으로 원인 분석을 가능하게 하기 위해.

제안 방법

• 혼동 변수 Z의 분포가 치료 그룹 T 간에 다를 경우, 조건부 독립성이 위반되므로 편향 쿼리로 정의한다.
• 주어진 쿼리에 대해 잠재적 혼동 변수 Z를 탐지하기 위해 통계적 인자성 검증(예: 카이제곱 검정, 상호정보량)을 수행한다.
• 속성 간 조건부 의존성 분석을 통해 후보 공변량을 효율적으로 계산하는 새로운 알고리즘을 사용한다.
• 설명력과 통계적 유의성으로 검출된 혼동 변수를 순위 매겨 가장 관련성이 높은 것을 우선순위로 정렬한다.
• 유추된 혼동 변수(Z)에 조건을 붙여 원래 OLAP 쿼리를 재작성함으로써 평균 치료 효과를 계산하는 원인 쿼리로 변환한다.
• 사전에 계산된 데이터 큐브를 활용하여 조건부 확률과 엔트로피 계산을 가속화함으로써 상호작용 사용을 위한 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 통계적 인자성 검증을 통해 OLAP 쿼리의 편향을 공식적으로 정의하고 탐지할 수 있는가?
• RQ2 주어진 OLAP 쿼리에서 관찰된 편향을 설명하는 혼동 속성은 무엇이며, 그 중요도 순서는 어떻게 정할 수 있는가?
• RQ3 편향을 제거하고 진정한 원인 효과를 계산하는 데에 쿼리를 자동으로 재작성할 수 있는가?
• RQ4 실제 및 합성 데이터셋에서 최신의 원인 DAG 발견 기법과 비교해 시스템의 성능과 정확도는 어떻게 되는가?
• RQ5 HypDB는 표준 OLAP 쿼리의 편향을 해결함으로써 역사적 차별 사례와 같은 의미 있는 실질적 통찰을 도출할 수 있는가?

주요 결과

• HypDB는 복잡한 실제 데이터셋에서도 통계적 인자성 검증을 통해 혼동 변수를 식별함으로써 OLAP 쿼리의 편향을 성공적으로 탐지한다.
• 시스템은 혼동 속성의 순위를 매김으로써 편향을 설명하며, 항공기 지연 사례에서 공항 분포와 같은 속성들이 집합 결과와 부분군 추세 간 괴리의 원인임을 명확히 한다.
• HypDB는 편향된 쿼리를 자동으로 재작성하여 편향 없는 원인 효과를 계산하며, 예시에서 United Airlines가 총 평균 지연률이 높지만 각 공항 기준으로는 낮은 지연률을 보였음을 정확히 드러낸다.
• 혼동 변수 탐지에서 최신의 원인 DAG 발견 기법보다 정밀도와 재현률 측면에서 뛰어난 성능을 보인다.
• HypDB는 1973년 버클리 대학의 성별 차별 소송 사례의 핵심 통찰—집합 데이터는 편향을 보였지만 부분군 분석은 공정함을 드러냄—을 드러내며 후행적으로 알고리즘의 공정성 통찰을 제공할 수 있음을 입증한다.
• 사전에 계산된 데이터 큐브는 HypDB의 모든 구성 요소를 크게 가속화하여 실시간 의사결정 워크플로우에서 상호작용적 사용을 가능하게 한다.