[논문 리뷰] Wasserstein Learning of Deep Generative Point Process Models

Shuai Xiao, Mehrdad Farajtabar외 4명|arXiv (Cornell University)|2017. 05. 23.

Point processes and geometric inequalities참고 문헌 17인용 수 61

한 줄 요약

이 논문은 Wasserstein GAN 프레임워크(WGANTPP)로 학습된 시간점 프로세스에 대한 강도 비관측(intensity-free) 생성 모델을 제안하여, 특히 모델 잘못 가정 및 데이터 혼합 하에서 우도 기반 방법보다 적합도가 향상됨을 보인다.

ABSTRACT

Point processes are becoming very popular in modeling asynchronous sequential data due to their sound mathematical foundation and strength in modeling a variety of real-world phenomena. Currently, they are often characterized via intensity function which limits model's expressiveness due to unrealistic assumptions on its parametric form used in practice. Furthermore, they are learned via maximum likelihood approach which is prone to failure in multi-modal distributions of sequences. In this paper, we propose an intensity-free approach for point processes modeling that transforms nuisance processes to a target one. Furthermore, we train the model using a likelihood-free leveraging Wasserstein distance between point processes. Experiments on various synthetic and real-world data substantiate the superiority of the proposed point process model over conventional ones.

연구 동기 및 목표

• 점 프로세스에서 제한적인 파라메트릭 강도 형태 제거를 동기 부여한다.
• Wasserstein 거리를 이용한 우도 없는 학습 프레임워크를 점 프로세스에 대해 개발한다.
• 생성기–판별기 아키텍처를 순차 데이터 생성을 위해 순환 신경망으로 기반으로 제안한다.
• WGANTPP의 학습 안정을 위한 실용적 Lipschitz 정규화 스킴을 도입한다.
• 합성 및 실제 데이터셋 전반에서 강건성 및 우수한 성능을 입증한다

제안 방법

• 점 프로세스를 정의하고 강도 자유 모델링 프레임워크를 도입한다.
• ||ξ−ρ||⋆라는 계산 가능한 시퀀스 거리를 이용한 점 프로세스 분포 간 Wasserstein 거리를 채택한다.
• Poisson 기반의 노이즈 프로세스를 시퀀스로 변환하는 신경망 기반 제너레이터 gθ를 사용한다.
• 시퀀스에 점수를 부여하고 1-Lipschitz 제약을 강제하는 신경망 기반 디스크리미네이터 f_w를 사용한다.
• 명시적 그래디언트 클리핑을 피하기 위한 Lipschitz 기반 페널티로 Wasserstein 목적을 정규화한다(식 10).
• 생성기와 판별기 모두에 순환 신경망 아키텍처를 사용하여 순차적 이벤트 데이터를 처리한다.

실험 결과

연구 질문

• RQ1 강도 자유이고 우도 없이 GAN 프레임워크가 데이터로부터 파라메트릭 강도 함수를 지정하지 않고도 시간 점 프로세스를 정확히 학습할 수 있는가?
• RQ2 Wasserstein 기반 학습이 합성 및 실제 데이터세트에서 최대우도 추정과 어떻게 비교되는가, 데이터 혼합 시나리오 포함?
• RQ3 기본 생성 과정이 잘못 정의되었거나 다모드(데이터 혼합)일 때 WGANTPP가 성능을 유지하는가?

주요 결과

데이터	추정기	MLE-IP	MLE-SE	MLE-SC	MLE-NN	WGAN
MIMIC	편차	0.150	0.160	0.339	0.686	0.122
Meme	편차	0.839	1.008	0.701	0.920	0.351
MAS	편차	1.089	1.693	1.592	2.712	0.849
NYSE	편차	0.799	0.426	0.361	0.347	0.303

• WGANTPP는 파라메트릭 형태를 알 수 없거나 잘못 지정된 경우 합성 프로세스에서 우도 기반 모델보다 경험적 강도가 더 잘 나타난다.
• WGANTPP는 QQ-플롯 동작을 더 충실하게 보여주고 프로세스 혼합에서 모드 누락을 줄인다.
• 실 데이터 세트(MIMIC, MemeTracker, MAS, NYSE)에서 WGANTPP가 MLE 기반 방법보다 강도 편차가 더 작다.
• 본 방법은 다양한 데이터 소스를 견고하게 다루며 많은 설정에서 MLE 기반 신경 점 프로세스 모델(MLE-NN)을 능가한다.
• 경험적 결과는 Wasserstein 거리의 강도-자유 학습이 모델 잘못 가정이 있을 때 파라메트릭 MLE를 능가할 수 있음을 보여준다.