[論文レビュー] Beyond expectation: Deep joint mean and quantile regression for spatio-temporal problems

Filipe Rodrigues, Francisco C. Pereira|arXiv (Cornell University)|Aug 27, 2018

Urban Transport and Accessibility被引用数 6

ひとこと要約

本稿では、畳み込みLSTMとマルチタスク学習を用いて、時空間データの条件付き平均と複数の分位数を同時に予測するマルチアウトプット深層学習モデル、DeepJMQRを提案する。タスク間でネットワークパラメータを共有することにより、分位数の交差を解消し、予測精度を向上させるとともに、最小限の計算コストで補正された不確実性推定が可能となり、タクシー需要予測および交通速度予測のタスクにおいて、最先端の手法を著しく上回る性能を発揮する。

ABSTRACT

Spatio-temporal problems are ubiquitous and of vital importance in many research fields. Despite the potential already demonstrated by deep learning methods in modeling spatio-temporal data, typical approaches tend to focus solely on conditional expectations of the output variables being modeled. In this paper, we propose a multi-output multi-quantile deep learning approach for jointly modeling several conditional quantiles together with the conditional expectation as a way to provide a more complete "picture" of the predictive density in spatio-temporal problems. Using two large-scale datasets from the transportation domain, we empirically demonstrate that, by approaching the quantile regression problem from a multi-task learning perspective, it is possible to solve the embarrassing quantile crossings problem, while simultaneously significantly outperforming state-of-the-art quantile regression methods. Moreover, we show that jointly modeling the mean and several conditional quantiles not only provides a rich description about the predictive density that can capture heteroscedastic properties at a neglectable computational overhead, but also leads to improved predictions of the conditional expectation due to the extra information and a regularization effect induced by the added quantiles.

研究の動機と目的

• 時空間データに対する深層学習モデルにおいて、補正された不確実性推定が不足している問題に対処すること。特に、リスク評価に耐性を持つ応用分野を想定する。
• 条件付き期待値にのみ焦点を当てる従来の深層学習の限界を克服すること。これには、分布の非定常性と不確実性を捉えきれないという問題がある。
• 分位数回帰における古典的問題である分位数の交差を、共有表現学習によって一貫性を保証することで解消すること。
• 複数の分位数からの追加情報を利用することで、平均予測性能を向上させ、正則化効果を誘発すること。
• タクシー運用管理や交通予測などの実世界の交通応用分野において、包括的な予測密度記述を提供すること。

提案手法

• 時系列グリッドベースデータの時空間的依存性をモデル化するため、畳み込みLSTMに基づく深層ニューラルネットワークアーキテクチャを提案する。
• 共有エンコーダー特徴を用いて、同時に条件付き平均と複数の条件付き分位数（例：0.1, 0.5, 0.9）を予測するマルチアウトプットヘッドを設計する。
• すべての出力ヘッドにハードパラメータ共有を実装することで、予測された分位数間の整合性と一貫性を確保し、分位数の交差を防止する。
• 各分位数ヘッドには分位数損失関数（ピンバック損失）を、平均ヘッドには平均二乗誤差損失関数を適用し、エンド・トゥ・エンドのトレーニングにより同時に最適化する。
• 空間的および時間的次元を持つ2つの大規模な交通データセット、NYCタクシー需要およびコペンハーゲンの交通速度データにモデルを適用する。
• 共有表現が共同で時空間パターンを学習することで、汎化性能と不確実性推定の両方を向上させるマルチタスク学習フレームワークを採用する。

実験結果

リサーチクエスチョン

• RQ1 複数の分位数と条件付き平均を同時にモデリングすることで、平均のみのモデルと比較して、時空間予測の精度が向上するか？
• RQ2 共有パラメータを用いたマルチタスク学習は、深層分位数回帰において分位数の交差を効果的に防止できるか？
• RQ3 分位数を含めることで、正則化および追加の分布情報により、平均予測性能がどの程度向上するか？
• RQ4 提案手法は、交通速度やタクシー需要といった実世界の時空間データにおける非定常性（異方性）をどの程度適切に捉えられるか？
• RQ5 最先端の手法と比較して、予測区間をよりきつくかつ信頼性高く得られるか、同時に適切なカバレッジを維持できるか？

主な発見

• DeepJMQRは、線形QRやRKHSベースの手法を含む最先端の分位数回帰手法と比較して、タクシー需要および交通速度予測の両タスクにおいて、予測精度の点で著しく優れている。
• 分位数ヘッドの導入による正則化効果が顕著に現れ、条件付き平均の予測誤差が統計的に有意に低減されている。
• ハードパラメータ共有のおかげで、分位数の交差が効果的に解消され、予測された分位数の単調性が保証されている。
• 線形QRよりも予測区間がきつくなり、特に不確実性が自然に高まる夜間のような高ばらつき期間において信頼性が高く保たれている。
• データの非定常性（異方性）を適切に捉えており、信頼性の高い昼間の期間には narrower な区間を、信号が弱い夜間の期間には wider な区間を生成しており、実データの分散を反映している。
• 評価されたすべての手法の中で、DeepJMQRは90%および80%の予測区間が最もきつくなり、カバレッジの適切さ（ICPが目標に近い）を達成しており、区間をきつくする代わりにカバレッジを犠牲にするRKHSベースの手法でさえも上回っている。