[논문 리뷰] CrossCat: a fully Bayesian nonparametric method for analyzing heterogeneous, high dimensional data

Vikash K. Mansinghka, Patrick Shafto외 4명|arXiv (Cornell University)|2016. 01. 01.

Bayesian Methods and Mixture Models참고 문헌 47인용 수 12

한 줄 요약

CrossCat은 높은 차원의 이질적 데이터를 분석하기 위해 다중 겹치지 않는 시각을 추론하고, 각 시각을 비모수 혼합 모델로 모델링함으로써 완전한 베이지안 비모수 방법이다. 스케일러블한 깁스 샘플링을 사용하여 최신 기법들과 경쟁 가능한 예측 정확도를 달성하며, 1,000만 개의 셀까지의 데이터셋에서 도메인 지식과 일관된 구조를 포착한다.

ABSTRACT

There is a widespread need for statistical methods that can analyze high-dimensional datasets without imposing restrictive or opaque modeling assumptions. This paper describes a domain-general data analysis method called CrossCat. CrossCat infers multiple non-overlapping views of the data, each consisting of a subset of the variables, and uses a separate nonparametric mixture to model each view. CrossCat is based on approximately Bayesian inference in a hierarchical, nonparametric model for data tables. This model consists of a Dirichlet process mixture over the columns of a data table in which each mixture component is itself an independent Dirichlet process mixture over the rows; the inner mixture components are simple parametric models whose form depends on the types of data in the table. CrossCat combines strengths of mixture modeling and Bayesian network structure learning. Like mixture modeling, CrossCat can model a broad class of distributions by positing latent variables, and produces representations that can be efficiently conditioned and sampled from for prediction. Like Bayesian networks, CrossCat represents the dependencies and independencies between variables, and thus remains accurate when there are multiple statistical signals. Inference is done via a scalable Gibbs sampling scheme; this paper shows that it works well in practice. This paper also includes empirical results on heterogeneous tabular data of up to 10 million cells, such as hospital cost and quality measures, voting records, unemployment rates, gene expression measurements, and images of handwritten digits. CrossCat infers structure that is consistent with accepted findings and common-sense knowledge in multiple domains and yields predictive accuracy competitive with generative, discriminative, and model-free alternatives.

연구 동기 및 목표

• 강한 제약 조건이나 투명하지 않은 모델링 가정이 없는 통계적 방법이 고차원 데이터를 분석하는 데 필요한 요구를 충족시키기 위해.
• 다양한 데이터 유형과 복잡한 의존관계를 포함한 이질적인 표 형태 데이터셋에서 강건한 추론을 가능하게 하기 위해.
• 정확한 표현과 예측을 위해 혼합 모델링과 베이지안 네트워크 구조 학습의 장점을 결합하는 방법을 개발하기 위해.
• 모델 차원과 구조가 알려지지 않은 데이터를 다룰 수 있는 완전한 베이지안 비모수 접근법을 제공하기 위해.
• 실제 데이터셋에 대해 최대 1,000만 개의 셀까지 스케일링하고 실용적으로 적용 가능하게 하기 위해.

제안 방법

• CrossCat은 열에 대해 딜레트 프로세스 혼합을 적용한 계층적 비모수 베이지안 모델을 사용하여 데이터 테이블을 모델링한다.
• 각 열의 혼합 성분은 행에 대해 독립적인 딜레트 프로세스 혼합이며, 데이터 유형에 맞게 조정된 매개수 성분을 포함한다.
• 이 방법은 서로 겹치지 않는 다수의 데이터 시각을 추론하며, 각 시각은 공통 조건부 의존성 구조를 가진 변수의 부분집합을 나타낸다.
• 대규모 데이터셋에 대한 실용적 적용을 가능하게 하기 위해 근사 베이지안 추론을 위한 스케일러블한 깁스 샘플링 기법을 사용한다.
• 모델은 변수 간 조건부 독립성과 의존성 구조를 포착하며, 베이지안 네트워크와 유사하다.
• 예측 추론은 관측된 변수에 조건을 두고 사후 예측 분포에서 샘플링하여 수행된다.

실험 결과

연구 질문

• RQ1 완전한 베이지안 비모수 방법이 강한 비모수 가정 없이 고차원적이고 이질적인 데이터를 효과적으로 모델링할 수 있는가?
• RQ2 CrossCat은 헬스케어, 사회과학, 유전체학 등 다양한 분야에서 의미 있고 해석 가능한 데이터 구조를 얼마나 잘 추론할 수 있는가?
• RQ3 CrossCat은 생성 모델, 판별 모델 및 모델 무관 접근법에 비해 예측 정확도에서 어느 정도 뛰어나거나 경쟁력을 갖는가?
• RQ4 CrossCat은 정확도와 해석 가능성 유지 조건에서 최대 1,000만 개의 셀을 가진 대규모 데이터셋에 스케일링할 수 있는가?
• RQ5 여러 통계 신호가 동시에 존재하는 데이터에서 CrossCat의 시각 기반 분해가 모델링 정밀도를 향상시키는가?

주요 결과

• CrossCat은 헬스케어, 투표 기록, 유전자 발현 등 다양한 분야에서 알려진 결과와 일반적인 지식과 일치하는 데이터 구조를 성공적으로 추론한다.
• 이 방법은 고차원적이고 이질적인 데이터셋에서 생성 모델과 판별 모델 모두와 경쟁 가능한 예측 정확도를 달성한다.
• CrossCat은 스케일러블성을 입증하여 깁스 샘플링을 통해 최대 1,000만 개의 셀을 가진 데이터셋을 효과적으로 분석할 수 있다.
• 시각 기반 분해 덕분에 변수 부분집합 내의 의존성을 격리함으로써 다중 통계 신호의 정확한 모델링이 가능하다.
• 추론된 구조는 병원 품질 측정치와 비용 데이터 간 상관관계와 같은 알려진 도메인 관계를 반영한다.
• CrossCat의 비모수 성격 덕분에 모델 차원을 사전에 지정할 필요 없이 알려지지 않은 데이터 복잡성에 적응할 수 있다.