[논문 리뷰] A Bayesian Splitotic Theory For Nonparametric Models

Zuofeng Shang, Guang Cheng|arXiv (Cornell University)|2015. 08. 17.

Bayesian Methods and Mixture Models참고 문헌 51인용 수 10

한 줄 요약

이 논문은 비모수적 회귀 모델에 대한 확장 가능한 베이지안 추론 프레임워크를 제안하며, 막연하게도 병렬 처리 가능한 MCMC를 사용하여 거대한 데이터셋을 부분집합으로 분할하고 각 부분집합에서 독립적으로 추론한 후 결과를 집계하여 오라클 수준의 정확도를 달성한다. 이 방법은 무한차원 매개변수 공간의 기하학적 성질 덕분에 신뢰구간과 빈도주의 커버리지 측면에서 전체 데이터 추론과 정확히 동일한 결과를 얻는다.

ABSTRACT

We develop a set of scalable Bayesian inference procedures for a general class of nonparametric regression models based on embarrassingly parallel MCMC. Specifically, we first perform independent nonparametric Bayesian inference on each subset split from a massive dataset, and then aggregate those results into global counterparts. By partitioning the dataset carefully, we show that our aggregated inference results obtain the oracle rule in the sense that they are equivalent to those obtained directly from the massive data (which are computationally prohibitive in practice, though). For example, the aggregated credible sets achieve desirable credibility level and frequentist coverage possessed by the oracle counterparts (with similar radius). The oracle matching phenomenon occurs due to the nice geometric structures of the infinite-dimensional parameter space. A technical by-product is a new version of uniformly consistent test that applies to a general regression model under Sobolev norm.

연구 동기 및 목표

• 거대한 비모수적 회귀 데이터셋에서 전체 베이지안 추론을 수행하는 데 있어 계산상의 비현실성을 해결하기 위해.
• 전체 데이터 사후 분포에 대한 통계적 충실도를 유지하면서도 확장 가능한 추론 절차를 개발하기 위해.
• 집계된 추론이 오라클 전체 데이터 추론의 성능과 동일한 것을 보장하는 이론적 보장을 수립하기 위해.
• 무한차원 매개변수 공간의 기하학적 구조를 활용하여 신뢰구간의 일致성과 커버리지 보장을 확보하기 위해.
• 일반적인 회귀 모델에 대해 소볼레프 노름 기반의 균일한 일致성 테스트를 유도하는 것을 부산물로 삼기 위해.

제안 방법

• 거대한 데이터셋을 상호배타적인 부분집합으로 분할하여 각 부분집합에서 독립적인 비모수적 베이지안 추론을 가능하게 하기 위해.
• 각 부분집합에서 고립된 상태로 막연하게도 병렬 처리 가능한 MCMC를 적용하여 사후 계산을 수행하기 위해.
• 기하학적 구조를 유지하는 새로운 가중치 부여 및 조합 기법을 사용하여 부분집합 사후 결과를 집계하기 위해.
• 무한차원 매개변수 공간의 내재된 기하학적 구조를 활용하여 집계된 추론이 오라클 사후 분포와 일치하도록 하기 위해.
• 집계된 추론 절차의 균일 일치성을 확보하기 위해 소볼레프 노름 기반의 테스트를 활용하기 위해.
• 집계된 신뢰구간이 오라클 대응 항목과 동일한 신뢰 수준과 빈도주의 커버리지 수준을 달성함을 증명하기 위해.

실험 결과

연구 질문

• RQ1 확장 가능한 비모수적 모델에 대한 베이지안 추론이 전체 데이터 추론과 통계적으로 동일한 성능을 달성할 수 있는가?
• RQ2 무한차원 매개변수 공간의 어떤 기하학적 성질이 집계된 추론에서 정확한 오라클 매칭을 가능하게 하는가?
• RQ3 데이터 부분집합에서 독립적으로 수행된 추론을 어떻게 조합하여 전체 데이터 사후 분포와 동일한 커버리지 수준을 갖는 신뢰구간을 도출할 수 있는가?
• RQ4 집계된 사후 분포가 빈도주의 타당성과 신뢰도를 유지하기 위한 조건은 무엇인가?
• RQ5 일반적인 회귀 모델에 대해 소볼레프 노름 하에서 균일 일치 테스트를 도출할 수 있는가?

주요 결과

• 집계된 추론 결과는 신뢰구간 커버리지와 신뢰 수준 측면에서 오라클 사후 분포와 정확히 동일한 결과를 달성한다.
• 이 방법은 집계된 신뢰구간의 반지름이 오라클 신뢰구간의 반지름과 정확히 일치하도록 보장한다.
• 오라클 매칭 현상은 무한차원 매개변수 공간의 내재된 기하학적 구조 덕분에 가능해진다.
• 일반적인 회귀 모델에 대해 소볼레프 노름 하에서 새로운 균일 일치 테스트가 도출되었으며, 이는 기술적 부산물로 기능한다.
• 데이터 분할을 통한 계산적 확장성에도 불구하고 전체 데이터 사후 분포의 빈도주의 커버리지 성질을 유지한다.
• 이 방법은 계산적으로 실현 가능하며 통계적 성능에서 이론적 최적성을 달성한다.