[논문 리뷰] Slice sampling for general completely random measures

Peiyuan Zhu|arXiv (Cornell University)|2020. 01. 01.

Bayesian Methods and Mixture Models인용 수 2

한 줄 요약

이 논문은 완전 임의 측도 기반 모델에서 사후 추론을 위한 일반화 가능한 슬라이스 샘플링 알고리즘을 제안하며, 보조 슬라이스 변수를 통한 적응형 절단을 사용하여 무한한 잠재적 특징을 효율적으로 처리하고 병렬 처리가 가능하게 하면서도 모델의 유연성을 손상시키지 않는다. 이 방법은 고정 절단 또는 마진화 접근 방식보다 높은 초당 유효 표본 크기와 더 나은 예측 성능을 달성한다.

ABSTRACT

Completely random measures provide a principled approach to creating flexible unsupervised models, where the number of latent features is infinite and the number of features that influence the data grows with the size of the data set. Due to the infinity the latent features, posterior inference requires either marginalization---resulting in dependence structures that prevent efficient computation via parallelization and conjugacy---or finite truncation, which arbitrarily limits the flexibility of the model. In this paper we present a novel Markov chain Monte Carlo algorithm for posterior inference that adaptively sets the truncation level using auxiliary slice variables, enabling efficient, parallelized computation without sacrificing flexibility. In contrast to past work that achieved this on a model-by-model basis, we provide a general recipe that is applicable to the broad class of completely random measure-based priors. The efficacy of the proposed algorithm is evaluated on several popular nonparametric models, demonstrating a higher effective sample size per second compared to algorithms using marginalization as well as a higher predictive performance compared to models employing fixed truncations.

연구 동기 및 목표

• 무한한 잠재적 특징으로 인해 발생하는 완전 임의 측도 기반 모델의 사후 추론에서의 계산 비효율성을 해결한다.
• 고정 절단의 제약으로 인해 모델의 유연성이 제한되는 문제와 마진화 방법이 병렬 처리를 어렵게 하는 문제를 극복한다.
• 완전 임의 측도를 기반으로 하는 광범위한 비모수 모델에 적용 가능한 일반 목적의 추론 알고리즘을 개발한다.
• 슬라이스 샘플링을 통한 적응형 절단을 통해 효율적이고 확장 가능하며 민감도가 높은 사후 추론을 가능하게 한다.
• 기존 방법과 비교해 계산 효율성(초당 유효 표본 크기)과 예측 성능을 모두 향상시킨다.

제안 방법

• 보조 슬라이스 변수를 도입하여, 무한차원 완전 임의 측도의 적응형 절단을 가능하게 하는 공동 사후 분포를 정의한다.
• 슬라이스 변수와 절단된 측도 성분을 동시에 갱신하는 마르코프 체인 몬테카를로 샘플러를 구축하여 사후 분포의 적절한 탐색을 보장한다.
• 슬라이스 변수에 의해 유도되는 조건부 독립성 구조를 활용하여 성분 간 병렬 계산을 가능하게 한다.
• 사후 밀도에 기반해 절단 수준을 자동으로 조정하여 임의의 또는 고정된 절단 기준을 피한다.
• 기본 레비 측도의 일반적 성질에 기반하여 어떤 완전 임의 측도 사전 분포에 대해서도 방법이 유효하도록 보장한다.
• 세부 균형과 수렴성을 유지하면서 슬라이스 변수와 측도 성분을 번갈아 갱신하는 고전적 게비스 샘플링 방식을 사용한다.

실험 결과

연구 질문

• RQ1 고정 절단과 마진화의 단점을 피하면서 완전 임의 측도 기반 모델에서 사후 추론을 위한 일반 목적의 MCMC 알고리즘을 개발할 수 있는가?
• RQ2 슬라이스 샘플링을 통한 적응형 절단은 마진화 기반 추론에 비해 초당 더 높은 유효 표본 크기를 제공하는가?
• RQ3 제안된 방법은 고정된 절단 수준을 사용하는 모델에 비해 예측 성능을 유지하거나 향상시킬 수 있는가?
• RQ4 이 알고리즘은 비모수 베이지안 모델에서 효율적이고 병렬 처리 가능한 계산을 어느 정도 가능하게 하는가?
• RQ5 슬라이스 샘플링 접근 방식은 다양한 비모수 모델에 대해 확장 가능하고 강건한가?

주요 결과

• 제안된 슬라이스 샘플링 알고리즘은 마진화 기반 추론 방법보다 높은 초당 유효 표본 크기를 달성하여 계산 효율성이 향상됨을 확인했다.
• 데이터 기반의 적응형 절단 덕분에 고정된 절단 수준을 사용하는 모델보다 뛰어난 예측 성능을 보였다.
• 슬라이스 변수에 의해 유도된 조건부 독립성 구조를 활용하여 효율적이고 병렬 처리 가능한 계산을 가능하게 했다.
• 임의의 절단을 피함으로써 모델의 유연성을 유지하여 데이터 크기에 따라 활성 특징 수가 증가할 수 있도록 했다.
• 다양한 비모수 모델에 대한 실증 평가를 통해 알고리즘의 강건성과 확장 가능성을 확인했다.
• 이 일반적인 절차는 완전 임의 측도 기반의 모든 모델에 널리 적용 가능하며, 모델 특화 솔루션을 넘어서는 적용 범위를 가진다.