[논문 리뷰] Detecting Dependencies in Sparse, Multivariate Databases Using Probabilistic Programming and Non-parametric Bayes

Feras A. Saad, Vikash K. Mansinghka|arXiv (Cornell University)|2016. 11. 05.

Bayesian Modeling and Causal Inference인용 수 4

한 줄 요약

이 논문은 확률 프로그래밍과 비모수 베이지안 추론을 활용하여 희소하고 고차원적인 데이터베이스에서의 종속성 탐지에 대해 확장 가능하고 확률적인 접근법을 제안한다. CrossCat을 사용해 공동 밀도 추정을 하고, 베이지안 쿼리 언어(BQL)를 사용해 조건부 상호정보량(CMI)을 쿼리함으로써, 잘못된 양성 결과를 억제하면서도 맥락 기반 종속성을 효율적으로 식별한다. 실제의 거시경제학 및 공중보건 데이터셋(약 35%의 누락 데이터 포함)에서 기준 모델들을 능가한다.

ABSTRACT

Datasets with hundreds of variables and many missing values are commonplace. In this setting, it is both statistically and computationally challenging to detect true predictive relationships between variables and also to suppress false positives. This paper proposes an approach that combines probabilistic programming, information theory, and non-parametric Bayes. It shows how to use Bayesian non-parametric modeling to (i) build an ensemble of joint probability models for all the variables; (ii) efficiently detect marginal independencies; and (iii) estimate the conditional mutual information between arbitrary subsets of variables, subject to a broad class of constraints. Users can access these capabilities using BayesDB, a probabilistic programming platform for probabilistic data analysis, by writing queries in a simple, SQL-like language. This paper demonstrates empirically that the method can (i) detect context-specific (in)dependencies on challenging synthetic problems and (ii) yield improved sensitivity and specificity over baselines from statistics and machine learning, on a real-world database of over 300 sparsely observed indicators of macroeconomic development and public health.

연구 동기 및 목표

• 희소하고 고차원적이며 다변량인 데이터베이스에서 누락 데이터가 존재하는 상황에서 진정한 예측 관계를 탐지하는 데 도전하는 것.
• 모수적 가정, 선형 상관관계 또는 빈도주의 가설 검정에 의존하는传통적 방법의 한계를 극복하는 것.
• 다양한 데이터 유형과 누락 패턴에 걸쳐 조건부 상호정보량(CMI)의 불확실성 추정을 위한 확률적으로 일관된 프레임워크를 제공하는 것.
• 모수적 가정 없이 전체 쌍별 테스트 없이도 SQL 유사 쿼리 언어(BQL)를 사용해 복잡한 종속성을 스케일러블하고 인터랙티브하게 탐색할 수 있도록 하는 것.
• 표준 방법(예: 선형 상관관계 또는 모수적 검정)이 놓치는 맥락 기반 종속성을 개선하여 탐지하는 것.

제안 방법

• 다양한 변수들 사이의 복잡한 비선형 종속성을 포괄하는 비모수 베이지안 모델인 CrossCat을 사용해 공동 확률 모델의 앙상블을 생성한다.
• 몬테 카를로 통합을 통해 사후 예측 분포를 기반으로 하여, 누락 데이터가 존재하는 상황에서도 변수 하위 집합 간의 조건부 상호정보량(CMI)을 비모수 베이지안 모델링을 통해 추정한다.
• 베이지안 쿼리 언어(BQL)를 사용해 CMI에 대한 쿼리를 표현함으로써, 모델 그래프 내의 구조적 독립성을 활용해 불필요한 계산을 방지하는 최적화를 가능하게 한다.
• CrossCat 블록 내에서 딜레트 프로세스 혼합 모델을 사용해 과적합 없이 복잡하고 이질적인, 비선형적인 관계를 민첩하게 모델링한다.
• CrossCat의 모델 구조를 통합하여 CMI에 대한 사후 분포를 계산함으로써, p-값이 아닌 전체 불확실성 정량화를 제공한다.
• 구조적 독립성이 감지될 경우 중복된 조건 변수를 제거함으로써 추론을 최적화하여 탐색 분석에 대한 확장성을 향상시킨다.

실험 결과

연구 질문

• RQ1 비모수 베이지안 접근법은 선형 상관관계가 실패하는 고차원적이고 희소한 데이터베이스에서 맥락 기반 종속성을 탐지할 수 있는가?
• RQ2 제안된 방법은 종속성 탐지의 민감도와 특이도 측면에서 전통적 통계 및 기계학습 기준 모델과 비교해 어떻게 성능을 내는가?
• RQ3 모델 그래프 내의 구조적 독립성을 얼마나 잘 활용하여 CMI 추정 속도를 높이고 계산 비용을 줄일 수 있는가?
• RQ4 35%의 누락 데이터가 존재하는 상황에서도, 광범위한 데이터 보정이나 사전 처리 없이 CMI를 신뢰성 있게 추정할 수 있는가?
• RQ5 실제 데이터셋(예: 무역 및 경제 지표 포함)에서 알려진 인과 관계를 얼마나 잘 복원하는가?

주요 결과

• 선형 상관관계와 표준 검정이 실패하는 시뮬레이션 문제에서 이 방법은 비선형성과 이종분산성에 강건한 맥락 기반 종속성을 성공적으로 탐지하였다.
• 300개 이상의 변수와 약 35%의 누락 데이터가 포함된 실제 거시경제학 및 공중보건 데이터베이스에서, 이 방법은 예측 관계 탐지에서 기준 모델들보다 높은 민감도와 특이도를 달성하였다.
• 이 방법은 네 가지의 무역 관련 변수(예: 순무역수지, 수출, 수입)가 조건부로 종속되어 있음을 탐지하였으며, 이는 선형 상관관계가 약하고 노이즈가 많아서 기존 방법이 이를 탐지하지 못한 결과였다.
• CrossCat은 거래 데이터셋의 잠재 인과 구조를 회복하였으며, 수출과 수지에 조건을 두면 수입이 총 상품과 분리됨을 확인하였고, 이는 사후 CMI 곡선으로 정량화되었다.
• 모델 그래프 내의 구조적 독립성을 활용해 몬테 카를로 추정을 피할 수 있었고, 이는 쿼리 효율성을 크게 향상시켰다.
• CMI에 대한 사후 분포는 전체 불확실성 정량화를 제공하여, 이진 가설 검정을 넘어서는 원칙적인 추론이 가능하게 하였다.