[논문 리뷰] Poisson Latent Feature Calculus for Generalized Indian Buffet Processes

Lancelot F. James|arXiv (Cornell University)|2014. 11. 11.

Bayesian Methods and Mixture Models참고 문헌 31인용 수 7

한 줄 요약

이 논문은 일반화된 인디안 빵가게 프로세스(Generalized Indian Buffet Processes, IBPs)를 임의의 분포를 사용한 잠재 특징에 대해 체계적으로 분석하고 구성하기 위해 푸아송 과정 미적분 기반의 통합된 푸아송 잠재 특징 미적분을 제안한다. 이는 단지 베르누이 분포가 아닌 임의의 분포를 사용하는 것이다. 이 방법은 공액성 없이도 고차원 희소 특징 모델에 대한 비모수 베이지안 추론을 가능하게 하며, 기존의 IBP 변종을 포함하고 새로운 다변량 구성 구조를 가능하게 하는 일반적인 프레임워크를 제공한다.

ABSTRACT

The purpose of this work is to describe a unified, and indeed simple, mechanism for non-parametric Bayesian analysis, construction and generative sampling of a large class of latent feature models which one can describe as generalized notions of Indian Buffet Processes(IBP). This is done via the Poisson Process Calculus as it now relates to latent feature models. The IBP was ingeniously devised by Griffiths and Ghahramani in (2005) and its generative scheme is cast in terms of customers entering sequentially an Indian Buffet restaurant and selecting previously sampled dishes as well as new dishes. In this metaphor dishes corresponds to latent features, attributes, preferences shared by individuals. The IBP, and its generalizations, represent an exciting class of models well suited to handle high dimensional statistical problems now common in this information age. The IBP is based on the usage of conditionally independent Bernoulli random variables, coupled with completely random measures acting as Bayesian priors, that are used to create sparse binary matrices. This Bayesian non-parametric view was a key insight due to Thibaux and Jordan (2007). One way to think of generalizations is to to use more general random variables. Of note in the current literature are models employing Poisson and Negative-Binomial random variables. However, unlike their closely related counterparts, generalized Chinese restaurant processes, the ability to analyze IBP models in a systematic and general manner is not yet available. The limitations are both in terms of knowledge about the effects of different priors and in terms of models based on a wider choice of random variables. This work will not only provide a thorough description of the properties of existing models but also provide a simple template to devise and analyze new models.

연구 동기 및 목표

• 표준 베르누이 기반의 인디안 빵가게 프로세스(IBP)를 초월한 잠재 특징 모델을 위한 일반적이고 비모수적 베이지안 프레임워크를 개발하기 위해.
• 푸아송 과정 미적분을 사용하여 일반화된 IBPs의 분석을 통합하고 단순화하여 체계적인 구성과 추론을 가능하게 하기 위해.
• 푸아송 및 음이이항 변수 기반의 기존 모델을 확장하여 일관된 이론적 기반을 제공하기 위해.
• 임의의 분포와 다각적인 사전 구조를 갖는 새로운 다변량 잠재 특징 프로세스의 설계를 가능하게 하기 위해.
• 현재 문헌에서 비공액 모델(예: 일반화된 감마 프로세스)의 성질이 잘 이해되지 않는 한계를 극복하기 위해.

제안 방법

• 이 방법은 교환 가능 베이지안 프로세스의 사후 및 주변 분포를 유도하기 위한 조합론적이지 않은 접근법인 푸아송 과정 미적분(PPC)을 사용한다.
• 잠재 특징은 완전히 무작위 측도를 통해 모델링되며, 생성 과정은 푸아송 랜덤 측도에 의해 이끌리며, 공액성이 필요 없이 분석이 가능하다.
• 이 프레임워크는 분해 및 푸비니 유형의 추론을 사용하여 사후 분포를 유도하며, 이는 특징 모델에 대해 블랙웰-맥퀸 우산 체계를 일반화한다.
• 각 특징이 다수의 소스(예: 다수의 특성)를 가질 수 있는 다변량 확장 버전을 도입하며, 할당 확률에 대해 딜레트 및 베타-딜레트 분포 성분을 사용한다.
• 기저 분포 $ G_A $ 는 0에 질량을 가질 수 있으며, 연속형 및 이산형을 포함한 임의의 유형이 가능하며, 일반적인 사전 프로세스를 지원한다.
• 핵심 식에는 새로운 요리 도착의 강도를 위한 $ \varphi = \theta \int_0^1 s^{-\alpha}(1-s)^{M+\beta+\alpha-1} ds $ 와 토글 조정을 위한 딜레트-다항분포 할당이 포함되어 있다.

실험 결과

연구 질문

• RQ1 표준 베르누이 기반 모델을 초월한 일반화된 인디안 빵가게 프로세스를 분석하기 위한 통합된 미적분을 어떻게 개발할 수 있는가?
• RQ2 푸아송 또는 음이이항 우도와 함께 일반화된 감마 프로세스와 같은 비공액 사전을 사용할 경우 IBP 모델의 이론적 성질은 무엇인가?
• RQ3 공통 프레임워크를 사용하여 다변량 잠재 특징 모델을 어떻게 체계적으로 구성하고 분석할 수 있는가?
• RQ4 고차원 희소 모델에서 0에 질량을 가진 임의의 분포 $ G_A $ 를 사용할 경우 특징 할당에 어떤 영향을 미치는가?
• RQ5 푸아송 과정 미적분은 복잡한 비모수적 베이지안 모델에서 공액성이 요구되지 않는 사후 추론을 어떻게 가능하게 하는가?

주요 결과

• 푸아송 과정 미적분은 기존의 IBP 변종을 포함하는 일반적이고 조합론적이지 않은 방법으로 잠재 특징 모델의 사후 및 주변 분포를 도출할 수 있다.
• 이 프레임워크는 각 특징이 다수의 특성(소스)을 가질 수 있는 새로운 다변량 IBP 모델의 구성이 가능하며, 딜레트 할당 확률을 지원한다.
• 각 신규 고객이 도착할 때 새로운 요리의 수는 강도 $ \varphi = \theta \Gamma(1-\alpha)\Gamma(M+\beta+\alpha)/\Gamma(M+\beta+1) $ 를 갖는 푸아송 분포를 따른다. 이는 단변량 경우를 일반화한다.
• 기존 요리 $ \omega_\ell $ 와 소스 $ j $ 를 선택할 확률은 $ (c_{j,\ell,M} + \gamma_j)/(c_{\ell,M} + \sum_k \gamma_k) \times c_{\ell,M-\alpha}/(M+\beta) $ 비례하며, 특징 및 소스 선택을 모두 반영한다.
• 특징 할당의 결합 분포는 매개수 $ (\alpha, M+\beta+\alpha; \gamma_1,\ldots,\gamma_q; \theta) $ 를 갖는 안정-베타-딜레트 프로세스에 의해 지배되며, 다각적인 사전 모델링을 가능하게 한다.
• 푸아송 과정 미적분의 구조적 특성을 활용하여, 공액성이 없는 일반화된 감마 프로세스를 푸아송 모델에 적용할 수 있으며, 이는 비공액 사전을 허용한다.