[논문 리뷰] Beyond expectation: Deep joint mean and quantile regression for spatio-temporal problems

Filipe Rodrigues, Francisco C. Pereira|arXiv (Cornell University)|2018. 08. 27.

Urban Transport and Accessibility인용 수 6

한 줄 요약

이 논문은 공간시계열 데이터의 조건부 평균과 다수의 분위수를 동시에 예측하기 위해 컨volutional LSTMs와 다중작업 학습을 활용하는 다중출력 딥러닝 모델인 DeepJMQR을 제안한다. 작업 간 네트워크 파라미터를 공유함으로써 분위수 교차 문제를 해결하고 예측 정확도를 향상시키며, 최소한의 계산 비용으로 校정된 불확실성 추정을 제공한다. 이는 택시 수요 및 교통속도 예측 과제에서 최신 기술보다 뚜렷하게 뛰어난 성능을 보였다.

ABSTRACT

Spatio-temporal problems are ubiquitous and of vital importance in many research fields. Despite the potential already demonstrated by deep learning methods in modeling spatio-temporal data, typical approaches tend to focus solely on conditional expectations of the output variables being modeled. In this paper, we propose a multi-output multi-quantile deep learning approach for jointly modeling several conditional quantiles together with the conditional expectation as a way to provide a more complete "picture" of the predictive density in spatio-temporal problems. Using two large-scale datasets from the transportation domain, we empirically demonstrate that, by approaching the quantile regression problem from a multi-task learning perspective, it is possible to solve the embarrassing quantile crossings problem, while simultaneously significantly outperforming state-of-the-art quantile regression methods. Moreover, we show that jointly modeling the mean and several conditional quantiles not only provides a rich description about the predictive density that can capture heteroscedastic properties at a neglectable computational overhead, but also leads to improved predictions of the conditional expectation due to the extra information and a regularization effect induced by the added quantiles.

연구 동기 및 목표

• 공간시계열 데이터에 대한 딥러닝 모델에서 校정된 불확실성 추정의 부족을 해결하기 위해.
• 조건부 기대값에만 초점을 맞춘 기존 딥러닝 모델의 한계를 극복하기 위해, 분포의 이종분산성과 불확실성을 포괄하지 못하는 문제를 해결하기 위해.
• 분위수 회귀에서 고전적인 문제인 분위수 교차 문제를 공유된 표현 학습을 통해 일관성 있게 해결하기 위해.
• 다양한 분위수에서 얻는 추가 정보를 활용해 평균 예측 성능을 향상시키고, 정규화 효과를 유도하기 위해.
• 택시 플릿 관리 및 교통 예측과 같은 실생활 교통 응용 분야에서 종합적인 예측 밀도 기술을 제공하기 위해.

제안 방법

• 순차적인 격자 기반 데이터의 공간시계열적 의존성을 모델링하기 위해 컨volutional LSTMs 기반의 딥 네트워크 아키텍처를 제안한다.
• 공유된 인코더 특징을 사용해 동시에 조건부 평균과 다수의 조건부 분위수(예: 0.1, 0.5, 0.9)를 예측하는 다중출력 헤드를 설계한다.
• 예측된 분위수 간 일관성과 조화를 확보하기 위해 모든 출력 헤드 간 하드 파라미터 공유를 구현함으로써 분위수 교차를 방지한다.
• 각 분위수 헤드에 피널백 손실 함수(quantile loss)를 사용하고 평균 헤드에는 평균제곱오차 손실 함수를 적용하며, 엔드 투 엔드 학습을 통해 공동 최적화를 수행한다.
• 공간적 및 시간적 차원을 모두 갖춘 두 개의 대규모 교통 데이터셋인 뉴욕 택시 수요 및 코펜하겐 교통속도 데이터에 모델을 적용한다.
• 공유된 표현이 공동 공간시계열 패턴을 학습함으로써 일반화 능력과 불확실성 추정 성능을 향상시키는 다중작업 학습 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 다양한 분위수와 조건부 평균을 공동으로 모델링할 경우, 평균만 예측하는 모델에 비해 공간시계열 예측 정확도가 향상되는가?
• RQ2 공유된 파라미터를 활용한 다중작업 학습이 딥 분위수 회귀에서 분위수 교차 문제를 효과적으로 방지하는가?
• RQ3 분위수를 포함시킴으로써 정규화 효과와 추가적인 분포 정보를 통해 평균 예측 성능이 어느 정도 향상되는가?
• RQ4 실제 공간시계열 데이터(예: 교통속도 또는 택시 수요)에서 이종분산성을 얼마나 잘 포착하는가?
• RQ5 최신 기술 대비 더 좁고 신뢰할 수 있는 예측 구간을 확보하면서도 적절한 커버리지(coverage)를 유지하는가?

주요 결과

• DeepJMQR는 택시 수요 및 교통속도 예측 과제에서 선형 QR 및 RKHS 기반 접근법을 포함한 최신 기술 대비 뚜렷한 예측 정확도 향상을 보였다.
• 분위수 헤드의 포함으로 인한 정규화 효과로 인해 조건부 평균에 대한 예측 오차가 통계적으로 유의미하게 감소하였다.
• 하드 파라미터 공유 덕분에 분위수 교차 문제가 효과적으로 제거되어 예측된 분위수 간 단조성(monotonicity)이 보장되었다.
• 특히 불확실성이 높은 야간과 같은 고변동성 기간 동안 선형 QR에 비해 더 좁고 신뢰할 수 있는 예측 구간을 생성하였다.
• 실제 데이터 분산을 반영하여 고신뢰도의 주간 기간에는 좁은 예측 구간을, 저신호의 야간 기간에는 넓은 예측 구간을 생성함으로써 이종분산 특성을 잘 포착하였다.
• 평가된 모든 방법 중에서 DeepJMQR가 가장 좁은 90% 및 80% 예측 구간을 확보하였고, 목표치에 가까운 적절한 커버리지(ICC가 목표에 가까움)를 확보하여, 조밀한 예측 구간을 위해 커버리지 포기를 감수한 RKHS 기반 방법조차도 뛰어난 성능을 보였다.