[논문 리뷰] Bayesian Nonparametric Poisson Process Allocation

Hongyi Ding, Issei Sato외 1명|arXiv (Cornell University)|2017. 05. 19.

Gaussian Processes and Bayesian Inference인용 수 1

한 줄 요약

이 논문은 시간 시계열에서 알려지지 않은 수의 잠재 함수를 추론하기 위해 강도를 무한한 가우시안 프로세스 유도 함수의 혼합으로 모델링하는 비모수 베이지안 모델인 베이지안 비모수 포아송 프로세스 할당(BaNPPA)을 제안한다. 변분 추론에서 가중치의 식별성 문제를 해결하기 위해 부피 기반 정규화를 도입하여 대규모 데이터셋에서 효율적이고 스케일러블한 추론을 가능하게 하며, 시뮬레이션 및 실세계 시계열 데이터에서 뛰어난 경험적 성능을 보인다.

ABSTRACT

Analyzing the underlying structure of multiple time-sequences provides insights into the understanding of social networks and human activities. In this work, we present the \emph{Bayesian nonparametric Poisson process allocation} (BaNPPA), a latent-function model for time-sequences, which automatically infers the number of latent functions. We model the intensity of each sequence as an infinite mixture of latent functions, each of which is obtained using a function drawn from a Gaussian process. We show that a technical challenge for the inference of such mixture models is the unidentifiability of the weights of the latent functions. We propose to cope with the issue by regulating the volume of each latent function within a variational inference algorithm. Our algorithm is computationally efficient and scales well to large data sets. We demonstrate the usefulness of our proposed model through experiments on both synthetic and real-world data sets.

연구 동기 및 목표

• 다양한 시간 시계열에서 복잡한 시간 역학을 모델링하기 위해 알려지지 않은 수의 잠재 함수를 발견한다.
• 점 프로세스 모델의 비모수 혼합 모델에서 가중치의 식별성 문제를 해결한다.
• 대규모 데이터셋에 스케일링 가능한 계산 효율적인 추론 알고리즘을 개발한다.
• 잠재 함수의 수를 사전에 지정할 필요 없이 자동으로 모델 복잡도를 선택할 수 있도록 한다.

제안 방법

• 모델은 각 시계열의 강도를 가우시안 프로세스 사전 분포에서 유도된 무한한 잠재 함수의 혼합으로 표현한다.
• 성분의 수에 대한 비모수 추론를 가능하게 하기 위해 혼합 가중치에 딜레트 분포 사전을 사용한다.
• 후행 분포를 근사하기 위해 변분 추론 프레임워크를 사용하며, 가중치의 식별성 문제를 해결하기 위해 각 잠재 함수의 부피에 대한 정규화를 적용한다.
• 부피 정규화 항은 중복되거나 부족한 잠재 함수를 방지하여 최적화 중 식별성을 향상시킨다.
• 추론 알고리즘은 계산 효율성을 고려하여 설계되어 대규모 시간 시계열 데이터에 대한 확장성을 지원한다.

실험 결과

연구 질문

• RQ1 어떻게 알려지지 않은 수이거나 무한할 수 있는 잠재 함수를 가진 시간 시계열을 모델링할 수 있는가?
• RQ2 점 프로세스 모델에서 비모수 사전을 사용할 때 혼합 가중치 식별에 어떤 과제가 발생하는가?
• RQ3 부피 기반 정규화는 점 프로세스의 무한 혼합 모델에 대한 변분 추론에서 식별성을 향상시키는가?
• RQ4 제안된 방법은 대규모 실세계 시간 시계열 데이터 세트에 얼마나 잘 스케일링되는가?

주요 결과

• 제안된 BaNPPA 모델은 잠재 함수의 수를 수동으로 지정하지 않고도 성공적으로 추론한다.
• 부피 정규화가 가중치의 식별성 문제를 효과적으로 완화하여 보다 안정적이고 해석 가능한 추론을 가능하게 한다.
• 대규모 데이터셋에서의 스케일링과 계산 효율성이 입증되었으며, 수렴 속도와 런타임 측면에서 기준 모델을 능가한다.
• 시뮬레이션 데이터에 대한 경험적 평가 결과, 참값의 잠재 함수와 성분 수를 정확히 복원함을 확인했다.