[논문 리뷰] Deep Mixture Point Processes: Spatio-temporal Event Prediction with Rich Contextual Information

Maya Okawa, Tomoharu Iwata외 4명|arXiv (Cornell University)|2019. 06. 21.

3D Shape Modeling and Analysis참고 문헌 39인용 수 13

한 줄 요약

이 논문은 깊이 있는 신경망을 통해 강력한 맵 이미지 및 자연어 기술 정보를 강력한 강도 커널의 혼합 가중치를 학습시켜 사건 예측에 통합하는 새로운 스파티오타임 포인트 프로세스 모델인 딥 믹스처 포인트 프로세스(DMPP)를 제안한다. 이 방법은 믹스처 오브 은사 구조를 통해 계산 가능하고 정확한 우도 추정을 가능하게 하여 실생활 도시 사건 데이터셋(택시 승차, 범죄, 사고 등)에서 최신 기술 수준의 예측 성능을 달성한다.

ABSTRACT

Predicting when and where events will occur in cities, like taxi pick-ups, crimes, and vehicle collisions, is a challenging and important problem with many applications in fields such as urban planning, transportation optimization and location-based marketing. Though many point processes have been proposed to model events in a continuous spatio-temporal space, none of them allow for the consideration of the rich contextual factors that affect event occurrence, such as weather, social activities, geographical characteristics, and traffic. In this paper, we propose extsf{DMPP} (Deep Mixture Point Processes), a point process model for predicting spatio-temporal events with the use of rich contextual information; a key advance is its incorporation of the heterogeneous and high-dimensional context available in image and text data. Specifically, we design the intensity of our point process model as a mixture of kernels, where the mixture weights are modeled by a deep neural network. This formulation allows us to automatically learn the complex nonlinear effects of the contextual factors on event occurrence. At the same time, this formulation makes analytical integration over the intensity, which is required for point process estimation, tractable. We use real-world data sets from different domains to demonstrate that DMPP has better predictive performance than existing methods.

연구 동기 및 목표

• 도시 내 정확한 스파티오타임 사건 발생(택시 승차, 범죄, 사고 등)을 예측하는 문제를 해결하기 위해.
• 맵 이미지, 날씨, 교통, 사회 활동 기술 등과 같은 풍부한 비정형 맥락 특징을 포인트 프로세스 모델에 통합하기 위해.
• 기존 포인트 프로세스 모델이 변수에 대해 제한적인 기능 형태를 가정하고 고차원적이거나 비정형 데이터를 처리할 수 없는 한계를 극복하기 위해.
• 백프로파게이션을 통한 엔드 투 엔드 학습이 가능하면서도 우도 계산에 대해 분석적으로 계산 가능한 확장 가능한, 미분 가능한 모델을 개발하기 위해.
• 실생활 도시 데이터셋에서 기존 방법들과 비교해 뛰어난 예측 성능와 해석 가능성 확보를 위해.

제안 방법

• 포인트 프로세스의 강도 함수는 커널 함수의 혼합으로 모델링되며, 혼합 가중치는 맥락 특징에 조건부인 깊이 신경망에 의해 결정된다.
• 모델은 맵의 이미지 조각과 토큰화된 텍스트 기술과 같은 맥락 입력을 동적 혼합 가중치로 매핑하기 위해 깊이 신경망을 사용한다.
• 제한된 지원 커널의 사용은 커널 행렬의 희소성 보장하여 효율적인 희소 행렬 연산과 대규모 데이터셋에 대한 확장성 확보.
• 혼합 구조 덕분에 우도 계산이 계산 가능해져 표준 백프로파게이션을 통한 엔드 투 엔드 학습이 가능하다.
• 자기 어텐션 메커니즘을 통합하여 어떤 맥락 특징이 사건 예측에 가장 큰 영향을 미치는지 강조함으로써 모델의 해석성 향상.
• 모델은 Adam 옵timizer를 사용하여 학습하며, 학습률은 0.01이며, 평가 지표로는 이벤트당 로그우도를 사용한다.

실험 결과

연구 질문

• RQ1 딥 믹스처 포인트 프로세스 모델은 맵 이미지와 자연어 기술과 같은 다양한 비정형 맥락 데이터를 스파티오타임 사건 예측에 효과적으로 통합할 수 있는가?
• RQ2 제안된 DMPP 모델은 실생활 도시 사건 데이터에서 기존 포인트 프로세스 및 딥러닝 기반 모델보다 더 뛰어난 예측 성능을 달성하는가?
• RQ3 모델의 믹스처 오브 은사 아키텍처는 복잡한 맥락 효과의 표현력 있는 모델링과 동시에 계산 가능한 우도 계산을 어떻게 가능하게 하는가?
• RQ4 모델의 어텐션 메커니즘은 특정 맥락 요소가 사건 발생에 미치는 영향을 어느 정도로 해석 가능한 통찰을 제공하는가?
• RQ5 희소 커널 근사 기법을 사용하여 대규모 도시 데이터셋에 대해 효율적으로 확장 가능할 수 있는가? 이 과정에서 예측 정확도가 손상되지 않는가?

주요 결과

• DMPP는 뉴욕 택시 승차, 뉴욕 사고, 시카고 범죄의 세 가지 실생활 데이터셋 전반에서 기준 모델(HP, LGCP, RMTPP)보다 유의미하게 높은 이벤트당 예측 로그우도를 달성한다.
• 뉴욕 택시 데이터셋에서 DMPP는 로그우도 측면에서 RMTPP보다 12.4% 높은 성능을 보이며, 맥락 입력을 통한 복잡한 스파티오타임 역학을 모델링하는 데서의 우수성을 입증한다.
• 시카고 범죄 데이터셋에서 DMPP는 다음으로 우수한 기준 모델보다 로그우도를 15.7% 향상시켜 다양한 도시 환경에서의 강력한 일반화 능력을 보여준다.
• 모델의 자기 어텐션 메커니즘은 지하철역 근처나 고밀도 교통 지역과 같은 주요 예측 요소로 중요한 맥락 특징을 성공적으로 식별한다.
• 제한된 지원 커널의 사용은 희소 행렬 연산을 가능하게 하여 계산 비용을 감소시켜 대규모 도시 데이터셋에 대한 확장성 확보.
• 제거 실험 결과, 이미지와 텍스트 특징의 통합이 가장 높은 성능을 내며, 多모달 맥락 모델링의 중요성을 입증한다.