[논문 리뷰] Theory of Dependent Hierarchical Normalized Random Measures

Changyou Chen, Wray Buntine외 1명|arXiv (Cornell University)|2012. 05. 18.

Bayesian Methods and Mixture Models참고 문헌 19인용 수 5

한 줄 요약

이 논문은 포아송 과정과 완전 무작위 측도(CRMs)에 대한 연산을 통해 종속형 정규화된 무작위 측도(DHN-RMs)의 이론적 프레임워크를 개발한다. 시간적 및 계층적 종속성을 모델링하기 위해 표본 추출, 점 전이, 초합 연산을 도입하며, CRM 수준와 NRM 수준의 연산이 동치임을 증명하고, 정규화된 일반화된 감마(NGG) 과정에 대한 사후 추론 규칙을 제공함으로써 확장 가능한 시간 의존적 토픽 모델링을 가능하게 한다.

ABSTRACT

This paper presents theory for Normalized Random Measures (NRMs), Normalized Generalized Gammas (NGGs), a particular kind of NRM, and Dependent Hierarchical NRMs which allow networks of dependent NRMs to be analysed. These have been used, for instance, for time-dependent topic modelling. In this paper, we first introduce some mathematical background of completely random measures (CRMs) and their construction from Poisson processes, and then introduce NRMs and NGGs. Slice sampling is also introduced for posterior inference. The dependency operators in Poisson processes and for the corresponding CRMs and NRMs is then introduced and Posterior inference for the NGG presented. Finally, we give dependency and composition results when applying these operators to NRMs so they can be used in a network with hierarchical and dependent relations.

연구 동기 및 목표

• 계층적이고 시간적 구조에서 종속형 정규화된 무작위 측도(NRMs)를 체계적으로 모델링하기 위한 원칙적인 프레임워크를 정식화하는 것.
• 기계 학습에서 상관된 데이터에 도전하기 위해 비모수 베이지안 모델 간의 탄력성 있는 종속성 모델링을 가능하게 하는 것.
• 기본 포아송 과정에 대한 연산을 통해 정규화된 무작위 측도(NRMs) 이론과 정규화된 일반화된 감마(NGG) 과정을 확장하여 종속성을 지원하는 것.
• CRMs와 NRMs에 대한 종속성 연산자(표본 추출, 점 전이, 초합)를 조합하기 위한 통합된 연산 규칙 체계를 제공하는 것.
• NGG 과정에서 표본 추출에 대한 사후 추론 규칙을 유도하여 동적 환경에서 효율적인 베이지안 추론을 가능하게 하는 것.

제안 방법

• 특정 레비 측도를 가진 포아송 과정으로부터 완전 무작위 측도(CRMs)를 구성하여 확률적 점프와 원소 생성을 가능하게 한다.
• CRMs를 정규화하여 정규화된 무작위 측도(NRMs)를 정의하며, 정규화된 일반화된 감마(NGG) 과정을 주요 예시로 한다.
• 포아송 과정과 그에 유도된 CRMs 및 NRMs에 대해 표본 추출, 점 전이, 초합 세 가지 종속성 연산을 도입한다.
• 표본 추출, 점 전이, 초합 연산의 복합 연산에 대한 정규형을 유도하여 복잡한 종속성 구조의 단순화 및 정규화를 가능하게 한다.
• NRMs의 사후 추론을 슬라이스 샘플링을 통해 수행하며, [GW11]과 [JLP09]의 기법을 활용해 NGG 사후 분포에 적용한다.
• CRM 수준의 연산이 정규화된 측도 수준의 동치 연산을 유도함을 보여주는 등가 정리(Equivalence Theorem)를 증명하여 다양한 척도에서의 일관성을 확보한다.

실험 결과

연구 질문

• RQ1 포아송 과정과 그에 관련된 CRMs로부터 종속형 정규화된 무작위 측도를 체계적으로 구성할 수 있는 방법은 무엇인가?
• RQ2 CRMs와 NRMs에 대한 종속성 연산(표본 추출, 점 전이, 초합)의 대수적 성질과 복합 규칙은 무엇인가?
• RQ3 관측된 데이터 하에서 NGG 과정에서 표본 추출 지표의 사후 분포를 닫힌 형태로 도출할 수 있는가?
• RQ4 CRMs에 대한 종속성 연산이 해당되는 NRMs에 대해 어떻게 이행되며, 이러한 등가성의 조건은 무엇인가?
• RQ5 이러한 연산을 계층적이고 시간 의존적인 모델(예: 동적 토픽 모델)에 사용하기 위한 이론적 기초는 무엇인가?

주요 결과

• 논문은 CRM 수준의 연산과 그에 대응하는 정규화된 무작위 측도(NRM) 수준의 연산 간에 공식적인 등가성을 확립하여, CRM 수준의 종속성 모델링이 NRM 수준에서도 일관되게 유도됨을 보장한다.
• 표본 추출, 점 전이, 초합 연산의 복합 연산에 대한 정규형을 도출하여 복잡한 종속성 구조의 단순화 및 정규화를 가능하게 한다.
• NGG 과정에서 표본 추출에 대한 사후 추론을 도출하였으며, 해당 점프를 포함할 사후 확률이 관측된 데이터 개수가 양수이면 1이며, 그렇지 않으면 상대 질량과 수락률에 따라 달라진다는 것을 보여준다.
• 표본 추출 하에서 점프의 사후 수락률이 총 질량과 현재 점프를 제외한 질량에 대한 함수임을 보이며, 일반 및 계층적 경우에 대해 명시적인 표현을 제공한다.
• 유도된 사후 규칙를 통해 효율적인 슬라이스 샘플링과 사후 업데이트를 가능하게 하여 시간 의존적 모델에서의 확장 가능한 추론을 지원한다.
• 이론적 결과는 동적 토픽 모델링에의 응용을 통해 검증되었으며, 이는 시간에 따라 변화하는 토픽 분포에 대한 탄력적 비모수적 모델링을 가능하게 한다.