[논문 리뷰] Deep Generative Quantile-Copula Models for Probabilistic Forecasting

Ruofeng Wen, Kari Torkkola|arXiv (Cornell University)|2019. 07. 24.

Neural Networks and Applications참고 문헌 19인용 수 13

한 줄 요약

이 논문은 다중 수평 예측을 확장하여 깊이 있는 신경망을 통해 전체 분위수 함수를 모델링하고 조건부 코풀라와 결합함으로써 다변량 의존성을 포괄적으로 포착하는 새로운 조건부 생성 프레임워크인 딥 제너레이티브 분위수-코풀라 모델(DGQCM)을 제안한다. 이 방법은 높은 정확도를 유지하면서도 전체 동시 확률 예측 및 시뮬레이션을 가능하게 하며, 시간 시리즈 응용 분야에서 기존의 암묵적 생성 모델보다 뛰어난 성능을 발휘한다.

ABSTRACT

We introduce a new category of multivariate conditional generative models and demonstrate its performance and versatility in probabilistic time series forecasting and simulation. Specifically, the output of quantile regression networks is expanded from a set of fixed quantiles to the whole Quantile Function by a univariate mapping from a latent uniform distribution to the target distribution. Then the multivariate case is solved by learning such quantile functions for each dimension's marginal distribution, followed by estimating a conditional Copula to associate these latent uniform random variables. The quantile functions and copula, together defining the joint predictive distribution, can be parameterized by a single implicit generative Deep Neural Network.

연구 동기 및 목표

• 기존의 다중 수평 분위수 예측기의 한계를 해결하기 위해, 이는 단지 주변 분포만을 생성하고 생성 능력이 없음을 목적으로 한다.
• 다변량 시간 시리즈의 전체 동시 예측 분포를 포괄하는 조건부 생성 모델을 개발하기 위해.
• 전체 분위수 함수와 의존성 구조를 모델링하여 효율적이고 일관된 확률적 시뮬레이션 및 이상 탐지 기능을 제공하기 위해.
• 기본적인 암묵적 생성 모델이 조건부 시간 시리즈 예측과 특히 희소한 컨텍스트 조건 하에서 상호 불일치를 겪는 문제를 해결하기 위해.
• 분위수 회귀의 정확성과 생성 모델링의 유연성을 통합하는 통합 프레임워크를 제공하기 위해.

제안 방법

• 모델은 깊이 있는 신경망을 사용하여 각 시간 시리즈 차원의 조건부 주변 분위수 함수를 매개변수화하여 잠재적인 균등 분포 변수를 목표 분포로 매핑한다.
• 잠재 균등 변수에서 유도된 주변 분위수 함수로부터 유도된 의존성 구조를 포착하는 조건부 코풀라를 학습하여 전체 분포를 모델링한다.
• 적절한 스코어링 규칙을 사용하여 전체 모델을 엔드 투 엔드로 훈련함으로써, 희소한 컨텍스트 데이터 조건 하에서도 일관되고 안정적인 최적화를 가능하게 한다.
• 암묵적 생성 네트워크 하나를 사용하여 분위수 함수와 코풀라를 동시에 매개변수화함으로써, 명시적 역함수 매핑이나 제한적인 플로우 제약 조건을 피한다.
• 모델링은 전체 샘플 경로 생성을 지원하여 시뮬레이션에 활용되며, 예측 밀도 추정을 통해 이상 탐지 기능도 제공한다.
• 고정된 분위수 집합에 의존하지 않고 전체 분위수 함수를 학습하기 때문에, 복잡한 보간 또는 비모수적 피팅이 필요로 하는 문제를 방지한다.

실험 결과

연구 질문

• RQ1 딥 제너레이티브 모델을 설계하여 다변량 시간 시리즈의 전체 동시 예측 분포를 생성하면서도 분위수 회귀의 정확성을 유지할 수 있는가?
• RQ2 고정된 분위수 집합에 의존하지 않고 깊이 있는 신경망을 효과적으로 사용하여 전체 분위수 함수를 모델링할 수 있는가?
• RQ3 조건부 코풀라가 깊이 있는 신경망의 표현력을 유지하면서도 시리즈 간 의존성을 효과적으로 모델링할 수 있는가?
• RQ4 제안된 프레임워크가 기존의 암묵적 생성 모델보다 확률 예측 및 시뮬레이션 작업에서 뛰어난 성능을 발휘하는가?
• RQ5 모델이 재고 관리 및 강화 학습과 같은 후행 응용 분야에서 일관되고 고품질의 샘플 경로를 생성할 수 있는가?

주요 결과

• 제안된 DGQCM 프레임워크는 시간 시리즈 벤치마크에서 VAE, GAN, WaveNet, 베이지안 드롭아웃 모델보다 최신 기술 수준의 성능을 달성하며 뚜렷한 승리를 거두었다.
• 모델은 표준 다중 수평 분위수 예측기에서 자연스럽게 지원되지 않는 전체 동시 샘플 경로 생성을 가능하게 한다.
• 전체 분위수 함수를 모델링함으로써 이산 분위수 출력의 복잡한 보간 또는 비모수적 피팅이 필요로 하는 문제를 피할 수 있다.
• 조건부 코풀라가 효과적으로 시리즈 간 상관관계를 포착하여, 독립적으로 처리하지 않고도 다중 시간 시리즈의 동시 모델링을 가능하게 한다.
• 높은 정확도를 유지하면서도 전체적으로 생성 가능하고, 미분 가능하며 확장 가능한 확률 예측 솔루션을 제공한다.
• 실증 결과에 따르면, 모델은 동시 분포 추정에서 메시 방법(Mesh Approach)에 존재하는 통계적 불일치를 감소시켰다.