[논문 리뷰] D-GAN: Deep Generative Adversarial Nets for Spatio-Temporal Prediction

Divya Saxena, Jiannong Cao|arXiv (Cornell University)|2019. 07. 19.

Traffic Prediction and Management Techniques참고 문헌 21인용 수 27

한 줄 요약

이 논문은 실세계의 택시 수요 및 교통 흐름 데이터셋에서 최고 성능을 기록하며, 복잡한 비선형 시공간 상관관계를 모델링하고 외부 요소를 융합 모듈을 통해 통합함으로써, 비지도 학습 방식으로 잠재 표현을 동시에 학습하고 변동성 추론을 수행하는 새로운 딥 생성 적대적 네트워크인 D-GAN을 제안한다.

ABSTRACT

Spatio-temporal (ST) data for urban applications, such as taxi demand, traffic flow, regional rainfall is inherently stochastic and unpredictable. Recently, deep learning based ST prediction models are proposed to learn the ST characteristics of data. However, it is still very challenging (1) to adequately learn the complex and non-linear ST relationships; (2) to model the high variations in the ST data volumes as it is inherently dynamic, changing over time (i.e., irregular) and highly influenced by many external factors, such as adverse weather, accidents, traffic control, PoI, etc.; and (3) as there can be many complicated external factors that can affect the accuracy and it is impossible to list them explicitly. To handle the aforementioned issues, in this paper, we propose a novel deep generative adversarial network based model (named, D-GAN) for more accurate ST prediction by implicitly learning ST feature representations in an unsupervised manner. D-GAN adopts a GAN-based structure and jointly learns generation and variational inference of data. More specifically, D-GAN consists of two major parts: (1) a deep ST feature learning network to model the ST correlations and semantic variations, and underlying factors of variations and irregularity in the data through the implicit distribution modelling; (2) a fusion module to incorporate external factors for reaching a better inference. To the best our knowledge, no prior work studies ST prediction problem via deep implicit generative model and in an unsupervised manner. Extensive experiments performed on two real-world datasets show that D-GAN achieves more accurate results than traditional as well as deep learning based ST prediction methods.

연구 동기 및 목표

• 복잡한 비선형 상관관계와 수많은 기재되지 않은 외부 요인을 동반한 매우 비정규적이고 동적인 시공간 데이터를 예측하는 데 도전하는 것.
• 외부 영향 요인의 명시적 레이블링이나 열거 없이도 시공간 특징 표현을 암묵적으로 학습할 수 있는 딥 생성 모델을 개발하는 것.
• 실세계 도시 응용에서 예측 정확도를 향상시키기 위해 생성과 추론을 동시에 최적화하는 비지도 프레임워크를 개발하는 것.
• 암묵적 분포 학습을 통해 시공간 데이터의 의미적 변동성과 비정규성을 모델링하는 것.
• 우선순위 지정된 융합 모듈을 통해 날씨, 교통 통제 및 관광지(PoI)와 같은 외부 요소를 예측 프레임워크에 통합하는 것.

제안 방법

• D-GAN은 생성자와 판별자를 동시에 학습시켜 현실적인 시공간 데이터 분포를 학습하는 GAN 기반 아키텍처를 사용한다.
• 딥 시공간 특징 학습 네트워크는 데이터 분포의 암묵적 모델링을 통해 데이터 내 복잡한 상관관계와 잠재적 변동성을 포착한다.
• 변동성 추론 구성 요소는 지도 학습의 정답 레이블 없이도 관측된 데이터로부터 잠재 표현을 추론할 수 있게 한다.
• 융합 모듈은 날씨, PoI, 교통 통제와 같은 외부 맥락적 요소를 잠재 공간에 통합하여 예측 성능을 향상시킨다.
• 모델은 생성과 추론을 동시에 최적화하기 위해 적대적 손실과 재구성 손실을 활용하여 엔드 투 엔드로 비지도 방식으로 학습된다.
• 생성자는 미래의 시공간 시퀀스를 생성하고, 판별자는 실제 시퀀스와 생성된 시퀀스를 구분함으로써 현실적이고 다양한 예측을 유도한다.

실험 결과

연구 질문

• RQ1 명시적 레이블링 없이도 깊이 있는 생성 적대적 네트워크가 도시 데이터의 복잡한 비선형 시공간 상관관계를 효과적으로 모델링할 수 있는가?
• RQ2 비지도 모델이 동적인 시공간 시퀀스의 의미적 변동성과 비정규성을 포착하는 잠재 표현을 얼마나 잘 학습할 수 있는가?
• RQ3 외부 맥락적 요소를 통합할 경우 시공간 예측 정확도가 얼마나 향상되는가?
• RQ4 생성과 변동성 추론의 공동 최적화가 기존 딥 러닝 모델보다 더 나은 예측 성능을 내는가?
• RQ5 실세계 시공간 데이터셋에서 D-GAN은 정확도와 견고성 측면에서 최첨단 기법들과 비교해 어떻게 성과를 내는가?

주요 결과

• D-GAN은 택시 수요 및 교통 흐름 데이터셋에서 전통적 통계 모델과 딥 러닝 베이스라인 대비 뛰어난 예측 정확도를 기록한다.
• 다양한 시간 간격에서 예측 오차(RMSE 기준)가 크게 감소하여 데이터의 비정규성에 대해 뛰어난 견고성을 보인다.
• 융합 모듈을 통한 외부 요소 통합은 특히 변동성이 높은 조건에서 예측 성능 향상에 명백한 기여를 한다.
• 비지도 학습 프레임워크는 레이블이 없는 데이터나 모든 외부 요소를 명시적으로 모델링할 필요 없이도 모델이 잘 일반화되도록 한다.
• 제거 실험 결과, 생성 및 추론 구성 요소 모두가 최종 성능에 의미 있는 기여를 함을 확인하여 공동 학습 접근법의 타당성을 입증한다.
• 정성적 분석과 판별자 평가를 통해 모델이 다양하고 현실적인 미래 시퀀스를 생성하는 것으로 확인되었다.