[논문 리뷰] Efficient Inference in Multi-task Cox Process Models

Virginia Aglietti, Theodoros Damoulas외 1명|arXiv (Cornell University)|2018. 05. 24.

Gaussian Processes and Bayesian Inference인용 수 4

한 줄 요약

이 논문은 공유된 가우시안 프로세스(GP) 잠재 함수의 선형 조합으로서 로그 강도를 처리함으로써 상관된 포인트 프로세스를 모델링하는 다중 작업 코크스 프로세스 모델(MCPM)을 제안한다. 혼합 가중치는 확률적이고 GP로 분포된 것으로 간주된다. 강도에 대한 닫힌 형식의 모멘트 표현식을 유도함으로써, 이 방법은 상태 기반 기법보다 15배 빠른 빠른 변분 추론을 가능하게 하며, 실제 및 시뮬레이션된 다중 작업 포인트 프로세스 데이터에서 불확실성 정량화와 예측 성능을 향상시킨다.

ABSTRACT

We generalize the log Gaussian Cox process (LGCP) framework to model multiple correlated point data jointly. The observations are treated as realizations of multiple LGCPs, whose log intensities are given by linear combinations of latent functions drawn from Gaussian process priors. The combination coefficients are also drawn from Gaussian processes and can incorporate additional dependencies. We derive closed-form expressions for the moments of the intensity functions and develop an efficient variational inference algorithm that is orders of magnitude faster than competing deterministic and stochastic approximations of multivariate LGCP, coregionalization models, and multi-task permanental processes. Our approach outperforms these benchmarks in multiple problems, offering the current state of the art in modeling multivariate point processes.

연구 동기 및 목표

• 고정된 선형 조합 가중치로 인해 불확실성 정량화가 열악한 기존 다변량 로그가우시안 코크스 프로세스(lgcp) 모델의 한계를 해결한다.
• 이중 확률적 성격과 고차원 잠재 공간으로 인해 다중 작업 lgcp 모델의 추론이 계산적으로 불가능한 문제를 해결한다.
• 잠재 함수와 확률적 혼합 가중치에 대한 효율적 사후 추정을 가능하게 하는 확장 가능한 추론 프레임워크를 개발한다.
• 다중 작업 포인트 프로세스에 대해 lgcp 기반 모델과 퍼마네팅털 프로세스 기반 모델 간의 첫 번째 종합적인 실증 비교를 제공한다.
• 대규모 실세계 다중 작업 포인트 프로세스 데이터셋에서 예측 정확도와 계산 효율성 측면에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 각 작업의 로그 강도가 공유된 GP 잠재 함수의 선형 조합인 별개의 lgcp 프로세스의 실현으로서 다수의 상관된 포인트 프로세스를 모델링한다.
• 조합 계수를 독립적인 가우시안 프로세스로 모델링하여 확률적 혼합 가중치를 도입함으로써 선형 조합 내의 불확실성 전파를 가능하게 한다.
• 로그 강도의 모멘트 생성 함수(MGF)에 대한 해석적 표현식을 유도하여 변분 목표 함수 내 기대값의 닫힌 형식 계산을 가능하게 한다.
• 이러한 닫힌 형식의 MGF를 활용해 몬테카를로 샘플링을 피하는 변분 추론 알고리즘을 개발함으로써 수렴 속도를 크게 향상시킨다.
• 완전한 GP 사후 분포를 근사하기 위해 유도 점을 사용하여 대규모 데이터셋에서도 확장 가능한 추론을 가능하게 한다.
• 스토캐스틱 기울기 추정이 필요 없도록 해석적 기대값을 사용하여 변분 하한(증거 하한)을 최적화한다.

실험 결과

연구 질문

• RQ1 다중 작업 lgcp 모델에서 고정되거나 결정론적인 가중치 대비 확률적 혼합 가중치가 불확실성 정량화를 향상시킬 수 있는가?
• RQ2 강도 분포에 대한 닫힌 형식의 모멘트 표현식이 다중 작업 lgcp 모델의 변분 추론을 더 빠르고 안정적으로 만들 수 있는가?
• RQ3 제안된 MCPM은 코어기오널라이제이션 모델, 다중 작업 퍼마네팅털 프로세스, MCMC 기반 lgcp 모델과 같은 기존 방법과 비교해 예측 성능와 계산 효율성에서 어떻게 성과를 내는가?
• RQ4 특히 누락 데이터 설정에서 복잡한 상관관계를 가진 공간적으로 분리된 작업 간에 정보를 효과적으로 전이할 수 있는가?
• RQ5 상호 작업 상관관계가 음수이거나 약할 경우 모델이 강건성을 유지하고 부정적 전이를 피할 수 있는가?

주요 결과

• MCPM 모델은 시뮬레이션 및 실세계 데이터셋 모두에서 벤치마크 모델(내재 코어기오널라이제이션 모델(ICM) 및 MCMC 기반 다중 작업 lgcp(mlgcp))을 능가하는 최신 기술 수준의 예측 성능를 달성한다.
• btb 데이터셋에서 MCPM은 MCMC 기반 모델의 약 30시간에서 8시간으로 추론 시간을 단축시켜 MCMC 기반 접근법 대비 3.75배의 속도 향상을 보였다.
• 누락 데이터 실험에서 MCPM은 샘플 내 및 샘플 외 모두에서 가장 높은 기대 커버리지(EC)를 달성했으며, 4개 작업 중 3개에서 ICM을 능가했다.
• MCPM은 1500 에포크 기준 3.18시간에 수렴한 반면 ICM은 1000 에포크 기준 18.63시간이 소요되어 훈련 시간 기준 6배의 속도 향상을 보였다.
• MCPM의 예측 분포는 진짜 개수를 90퍼센트 신뢰구간 내에 포함시켰지만, ICM은 이를 실패하여 더 나은 불확실성 캘리브레이션을 확인했다.
• 닫힌 형식의 MGF를 사용함으로써 변분 목표 함수 내 몬테카를로 샘플링이 제거되어 블랙박스 변분 추론 방법 대비 더 빠르고 안정적인 최적화가 가능했다.