[논문 리뷰] Probabilistic Data Analysis with Probabilistic Programming

Feras A. Saad, Vikash K. Mansinghka|arXiv (Cornell University)|2016. 08. 18.

Gaussian Processes and Bayesian Inference참고 문헌 26인용 수 7

한 줄 요약

이 논문은 다양한 베이지안 추론, 커널 방법, 기계학습 기법들을 하나의 확률적 프로그래밍 프레임워크에 통합하는 통합된 계산 추상화인 구성가능한 생성적 인구 모델(CGPMs)을 소개한다. BayesDB에 통합된 CGPMs는 표준 라이브러리 대비 약 10배의 코드량을 줄이며 정확도를 유지하거나 향상시키며, 실제 위성 데이터와 벤치마크 작업에서 이를 입증한다.

ABSTRACT

Probabilistic techniques are central to data analysis, but different approaches can be difficult to apply, combine, and compare. This paper introduces composable generative population models (CGPMs), a computational abstraction that extends directed graphical models and can be used to describe and compose a broad class of probabilistic data analysis techniques. Examples include hierarchical Bayesian models, multivariate kernel methods, discriminative machine learning, clustering algorithms, dimensionality reduction, and arbitrary probabilistic programs. We also demonstrate the integration of CGPMs into BayesDB, a probabilistic programming platform that can express data analysis tasks using a modeling language and a structured query language. The practical value is illustrated in two ways. First, CGPMs are used in an analysis that identifies satellite data records which probably violate Kepler's Third Law, by composing causal probabilistic programs with non-parametric Bayes in under 50 lines of probabilistic code. Second, for several representative data analysis tasks, we report on lines of code and accuracy measurements of various CGPMs, plus comparisons with standard baseline solutions from Python and MATLAB libraries.

연구 동기 및 목표

• 현재 서로 다른 형식론과 도구에 의존하는 다양한 확률적 데이터 분석 기법들을 통합, 비교, 조합하는 데 도전하는 것.
• 계층적 베이지안 모델, 커널 밀도 추정, 군집화, 차원 축소, 판별적 학습 등 넓은 범위의 방법들을 하나의 계산 추상화 아래 통합하는 것.
• BayesDB—확률적 프로그래밍 플랫폼으로서 모델링 언어와 구조적 쿼리 언어를 제공하는—와의 통합을 통해 실용적이고 확장 가능하며 구성가능한 확률적 모델링을 가능하게 하는 것.
• 희박한 관측치를 포함한 고차원적이고 이질적인 데이터셋, 특히 위성 데이터의 원인 분석을 포함한 실제 응용에서 프레임워크의 유용성을 입증하는 것.
• 파이썬과 매트랩에서의 표준 구현 대비 CGPMs의 효율성과 정확도 향상을 정량화하는 것.

제안 방법

• CGPMs를 확률적 모델을 캡슐화하는 계산 인터페이스로 정의하며, 관측 가능 변수와 유도된 랜덤 변수에 대한 밀도 평가 및 샘플링을 지원한다.
• 각 CGPM 노드가 입력/출력 변수를 가지며 조건부 설정과 근사화를 지원하는 복잡한 통계적 객체로 확장된 방향성 그래픽 모델을 계산 형식론으로 확장한다.
• 파라미터 기반 및 비모수적 베이지안 모델, 커널 밀도 추정기, 최근접 이웃, 랜덤 포레스트, 주성분 분석(PCA), 원인적 확률적 프로그램 등 다양한 모델 유형에 대해 CGPMs를 구현한다.
• 메타모델링 언어(MML)와 베이지안 쿼리 언어(BQL)를 사용해 BayesDB에 CGPMs를 통합함으로써, 하이브리드이고 방향성 비순환 네트워크로 구성된 모델을 가능하게 한다.
• 새로운 MML 문법을 통해 계층적 및 통합된 인구 모델링을 지원하며, 인구 간 전이 학습을 가능하게 한다.
• 이중 단계 추론 전략을 적용: 먼저 각 CGPMs를 개별적으로 학습한 후, 복수의 인페일팅 네트워크를 통한 보정 및 앙상블 학습을 통해 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 베이지안 추론, 커널 방법, 기계학습 등의 다양한 확률적 데이터 분석 기법들을 하나의 프레임워크 내에서 구성가능한 통합 계산 추상화로 설계할 수 있는가?
• RQ2 BayesDB와 같은 확률적 프로그래밍 플랫폼은 고차원적이고 이질적인 유형, 희박한 관측치를 포함한 복잡한 데이터에 대해 구성가능하고 모듈화되며 확장 가능한 모델링을 어떻게 지원할 수 있는가?
• RQ3 CGPMs는 파이썬과 매트랩의 표준 라이브러리 대비 구현 복잡도(코드 라인 수로 측정)를 얼마나 줄일 수 있으며, 정확도 손실 없이 수행할 수 있는가?
• RQ4 CGPM 프레임워크는 위성 데이터에서 물리 법칙 위반(예: 케플러의 제3법칙 위반)을 탐지하는 것과 같은 복잡한 상관관계를 포함한 실제 응용에서 얼마나 효과적인가?
• RQ5 CGPM 인터페이스는 예측 분포 간의 KL 발산 추정과 같은 모델 평가 및 비교 메커니즘을 지원할 수 있는가? 이를 통해 표준화된 확률적 모델 프로파일링이 가능한가?

주요 결과

• CGPMs는 계층적 베이지안 모델, 비모수적 베이즈, 커널 밀도 추정기, 판별적 학습기 등 다양한 확률적 모델을 하나의 구성가능한 인터페이스 내에서 구현할 수 있다.
• 프레임워크는 파이썬과 매트랩의 표준 라이브러리 대비 코드 크기를 약 10배 줄였으며, 벤치마크 데이터 분석 작업에서 정확도 손실 없이 성능을 유지하거나 향상시켰다.
• 실제 위성 데이터 분석에서, CGPMs는 50줄 이내의 확률적 코드로 비모수적 베이지안 추론과 원인적 확률적 프로그램을 조합하여 케플러의 제3법칙 위반 가능성이 있는 기록을 성공적으로 식별했다.
• CGPMs의 BayesDB 통합은 MML과 BQL을 통해 하이브리드 모델링을 가능하게 하며, 사용자가 일반화된 방향성 비순환 그래프로 모델을 조합하고, 구조적 문법을 사용해 쿼리할 수 있도록 한다.
• 제안된 추론 전략—개별 학습 후 보정 기반 보정 및 앙상블 학습—은 정확도를 향상시키고 복수의 인페일팅을 통합하는 데 기여한다.
• CGPM 인터페이스는 KL 발산 추정과 같은 모델에 종속되지 않는 평가를 지원하며, 확률적 모델의 표준화된 비교 및 프로파일링을 가능하게 한다.