[論文レビュー] Deep Mixture Point Processes: Spatio-temporal Event Prediction with Rich Contextual Information

Maya Okawa, Tomoharu Iwata+4 more|arXiv (Cornell University)|Jun 21, 2019

3D Shape Modeling and Analysis参考文献 39被引用数 13

ひとこと要約

本稿では、地図画像や自然言語記述などの豊富な文脈的情報を、混合重みを学習する深層ニューラルネットワークを介して強度カーネルに統合する、新しいスパatio-temporalポイント過程モデルであるDeep Mixture Point Processes (DMPP) を提案する。この手法は、混合の専門家形式を用いることで、計算可能な尤度推定を可能にし、実際の都市イベントデータセット（タクシーのピックアップ、犯罪、衝突など）において最先端の予測性能を達成する。

ABSTRACT

Predicting when and where events will occur in cities, like taxi pick-ups, crimes, and vehicle collisions, is a challenging and important problem with many applications in fields such as urban planning, transportation optimization and location-based marketing. Though many point processes have been proposed to model events in a continuous spatio-temporal space, none of them allow for the consideration of the rich contextual factors that affect event occurrence, such as weather, social activities, geographical characteristics, and traffic. In this paper, we propose extsf{DMPP} (Deep Mixture Point Processes), a point process model for predicting spatio-temporal events with the use of rich contextual information; a key advance is its incorporation of the heterogeneous and high-dimensional context available in image and text data. Specifically, we design the intensity of our point process model as a mixture of kernels, where the mixture weights are modeled by a deep neural network. This formulation allows us to automatically learn the complex nonlinear effects of the contextual factors on event occurrence. At the same time, this formulation makes analytical integration over the intensity, which is required for point process estimation, tractable. We use real-world data sets from different domains to demonstrate that DMPP has better predictive performance than existing methods.

研究の動機と目的

• 都市におけるタクシーのピックアップ、犯罪、衝突などの正確なスパatio-temporalイベント発生を予測する課題に対処すること。
• 地図画像、天候、交通、SNS活動の記述など、豊富で非構造的な文脈特徴をポイント過程モデルに統合すること。
• 従来のポイント過程が共変数の制限された関数形を仮定しており、高次元または非構造的データを処理できないという限界を克服すること。
• バックプロパゲーションによるエンドツーエンド学習が可能でありながら、尤度計算に解析的 tractability を維持できるスケーラブルで微分可能なモデルを開発すること。
• 実際の都市データセットにおいて、既存手法と比較して優れた予測性能と解釈可能性を示すこと。

提案手法

• ポイント過程の強度関数は、混合カーネル関数としてモデル化され、混合重みは文脈的情報に条件付けられた深層ニューラルネットワークによって決定される。
• モデルは深層ニューラルネットワークを用いて、地図の画像パッチやトークン化されたテキスト記述などの文脈入力を、カーネルの動的混合重みにマップする。
• コンパクトにサポートされたカーネルの使用により、カーネル行列におけるスパarsityが確保され、スパース行列計算が効率的に行え、大規模データセットへのスケーラビリティが向上する。
• 混合構造のおかげで尤度が計算可能であり、標準的なバックプロパゲーションによるエンドツーエンド学習が可能である。
• 解釈可能性を向上させるために、自己注意機構を組み込み、イベント予測に最も影響を与える文脈的特徴を特定する。
• モデルはAdam最適化法を用いて学習され、学習率は0.01であり、評価指標として1イベントあたりの対数尤度が用いられる。

実験結果

リサーチクエスチョン

• RQ1 深層混合ポイント過程モデルは、地図画像や自然言語記述などの多様で非構造的な文脈的情報を、スパatio-temporalイベント予測に効果的に統合できるか？
• RQ2 提案されたDMPPモデルは、実際の都市イベントデータにおいて、既存のポイント過程および深層学習ベースのモデルと比較して優れた予測性能を達成するか？
• RQ3 モデルの混合の専門家アーキテクチャは、複雑な文脈的効果の表現力と、計算可能な尤度の両方をどのように実現するか？
• RQ4 モデルの注意機構は、特定の文脈的要因がイベント発生に与える影響をどの程度解釈可能なインサイトとして提供できるか？
• RQ5 スパースカーネル近似を用いることで、予測精度を損なわずに大規模都市データセットへの効率的スケーリングが可能か？

主な発見

• DMPPは、ニューヨーク市タクシーのピックアップ、ニューヨーク市衝突、シカゴの犯罪の3つの実世界データセットすべてにおいて、ベースライン手法（HP、LGCP、RMTPP）と比較して、著しく高い1イベントあたりの対数尤度を達成した。
• ニューヨーク市タクシーのデータセットでは、DMPPはRMTPPよりも12.4%高い対数尤度を示し、文脈的情報を組み込んだ複雑なスパatio-temporalダイナミクスのモデル化における優位性を示した。
• シカゴの犯罪データセットでは、次善のベースラインと比較してDMPPは対数尤度を15.7%向上させ、異なる都市領域にわたる強力な一般化能力を示した。
• モデルの自己注意機構は、地下鉄駅の近接性や高流量地域などの顕著な文脈的特徴を、イベント発生の主要な予測要因として的確に特定した。
• コンパクトにサポートされたカーネルの使用により、スパース行列演算が可能となり、計算コストが削減され、大規模都市データセットへのスケーラビリティが向上した。
• アブレーションスタディの結果、画像とテキストの両方の特徴を統合した場合に最も高い性能が得られ、マルチモーダル文脈的モデリングの重要性が確認された。