[논문 리뷰] Feature allocations, probability functions, and paintboxes

Tamara Broderick, Jim Pitman외 1명|arXiv (Cornell University)|2013. 01. 28.

Bayesian Methods and Mixture Models참고 문헌 14인용 수 6

한 줄 요약

이 논문은 데이터 포인트가 여러 군집에 속할 수 있는 경우를 고려해, 교환가능한 특징 할당을 위한 일반적인 프레임워크를 제안한다. 이는 군집화에서 EPPF와 Kingman 페인트박스에 해당하는 교환가능한 특징 확률 함수(EFPF)와 특징 페인트박스를 정의함으로써 이루어진다. 교환가능한 특징 할당이 특징 페인트박스에 의해 생성된 것과 동치임을 증명하며, 특징 수의 점근적 분포는 尾 σ-대칭에 조건부로 포아송 및 독립된 베르누이 성분으로 특징화된다.

ABSTRACT

The problem of inferring a clustering of a data set has been the subject of much research in Bayesian analysis, and there currently exists a solid mathematical foundation for Bayesian approaches to clustering. In particular, the class of probability distributions over partitions of a data set has been characterized in a number of ways, including via exchangeable partition probability functions (EPPFs) and the Kingman paintbox. Here, we develop a generalization of the clustering problem, called feature allocation, where we allow each data point to belong to an arbitrary, non-negative integer number of groups, now called features or topics. We define and study an "exchangeable feature probability function" (EFPF)---analogous to the EPPF in the clustering setting---for certain types of feature models. Moreover, we introduce a "feature paintbox" characterization---analogous to the Kingman paintbox for clustering---of the class of exchangeable feature models. We provide a further characterization of the subclass of feature allocations that have EFPF representations.

연구 동기 및 목표

• 군집화를 초월해 베이지안 비모수 모델의 이론적 기반을 특징 할당으로 확장함으로써, 데이터 포인트가 여러 군집에 속할 수 있도록 한다.
• 군집 모델에서 EPPF의 유사물로 작용하는 교환가능한 특징 확률 함수(EFPF)를 정의한다.
• 군집화에 대한 Kingman 페인트박스와 유사하게, 교환가능한 특징 할당을 생성하는 메커니즘으로 특징 페인트박스를 도입한다.
• 교환가능한 특징 할당, EFPF로 표현 가능한 모델, 특징 페인트박스에 의해 생성된 모델 간의 등가성을 확립한다.
• 특징 수의 점근적 분포를, 尾 σ-대칭에 조건부로 포아송 및 독립된 베르누이 성분의 합으로 특징화한다.

제안 방법

• 특징 크기의 대칭 함수로 일반화된 EPPF의 일반화로서, 교환가능한 특징 확률 함수(EFPF)를 제안한다.
• 군집화의 Kingman 페인트박스와 유사하게, 단위 구간의 랜덤 부분집합에서 i.i.d.로 추출한 샘플을 통해 교환가능한 특징 할당을 생성하는 방법으로 특징 페인트박스를 도입한다.
• 특징 수의 점근적 행동을 분석하기 위해 역순 필터링을 갖는 시그마대칭의 열거 (ξ_N) 를 사용한다.
• 역순 마틴게일 수렴을 적용하여 P( # = j | ξ_N) 가 거의 확실히 P( # = j | ξ_∞) 로 수렴함을 보이고, 이를 통해 레퍼런스 19를 활용한다.
• 레퍼런스 19를 활용하여, 총 특징 수의 점근적 분포를 尾 σ-대칭에 조건부로 포아송 랜덤 변수와 독립된 베르누이 변수들의 합으로 특징화한다.
• 특징 빈도 모델의 경우, 특징 페인트박스 구축이 특히 간단하며, 특징 크기가 직접적으로 페인트박스 집합을 결정한다.

실험 결과

연구 질문

• RQ1 데이터 포인트가 여러 군집에 속할 수 있는 특징 할당의 맥락에서, 교환가능한 분할 확률 함수(EPPF)의 유사물은 무엇인가?
• RQ2 Kingman 페인트박스 구축을 특징 할당으로 일반화하여, 교환가능한 특징 할당을 생성하는 모델을 어떻게 제공할 수 있는가?
• RQ3 교환가능한 특징 할당이 EFPF 표현을 가질 수 있도록 보장하는 조건은 무엇인가?
• RQ4 데이터 포인트 수가 증가함에 따라 교환가능한 특징 할당에서 특징 수의 점근적 분포는 무엇인가?
• RQ5 특징 빈도 모델은 일반적인 특징 할당 이론과 어떻게 관련되어 있으며, 페인트박스 구축에서 어떤 역할을 하는가?

주요 결과

• 교환가능한 특징 할당은, 교환가능한 분할이 Kingman 페인트박스에 의해 생성된 것과 마찬가지로 특징 페인트박스에 의해 생성된 것과 동치이다.
• 교환가능한 특징 확률 함수(EFPF)는 특징 크기의 대칭 함수로서, EPPF를 특징 할당 설정으로 일반화한다.
• 특징 수의 점근적 분포는 尾 σ-대칭 ξ_∞ 에 조건부로 포아송 분포와 독립된 베르누이 변수들의 합으로 분포한다.
• 점근적 분포의 매개변수인 λ (포아송 강도) 와 {p_k} (베르누이 확률) 는 모두 尾 σ-대칭 ξ_∞ 에 대해 측정 가능한 랜덤 변수이다.
• 특징 빈도 모델의 경우, 특징 페인트박스 구축은 간단하며, 특징 집합은 그 상대 크기에 의해 직접적으로 정의된다.
• 그림 1의 윤형도는 무작위 분할이 무작위 특징 할당의 특수한 경우임을 확인하며, 기존 군집화 결과를 새로운 프레임워크 내에 통합한다.