[논문 리뷰] Statistical analysis of Wasserstein GANs with applications to time series forecasting

Moritz Haas, Stefan Richter|arXiv (Cornell University)|2020. 11. 05.

Image and Signal Denoising Methods참고 문헌 26인용 수 6

한 줄 요약

이 논문은 종속된 데이터 하에서 무조건적 및 조건부 워셔스타인 GAN에 대한 통계 이론을 수립하며, 수정된 워셔스타인 거리로 초과 베이즈 위험의 수렴 속도를 증명한다. 이는 추정량의 약한 수렴을 가능하게 하고 고차원 시계열 예측에 대해 점차적 유효한 신뢰구간을 구축한다. 합성 및 실제 기온 데이터를 통해 강력한 경험적 커버리지를 확보하였다.

ABSTRACT

We provide statistical theory for conditional and unconditional Wasserstein generative adversarial networks (WGANs) in the framework of dependent observations. We prove upper bounds for the excess Bayes risk of the WGAN estimators with respect to a modified Wasserstein-type distance. Furthermore, we formalize and derive statements on the weak convergence of the estimators and use them to develop confidence intervals for new observations. The theory is applied to the special case of high-dimensional time series forecasting. We analyze the behavior of the estimators in simulations based on synthetic data and investigate a real data example with temperature data. The dependency of the data is quantified with absolutely regular beta-mixing coefficients.

연구 동기 및 목표

• 의존 관측치 하에서 워셔스타인 GAN에 대한 통계 프레임워크를 개발하는 것.
• 수정된 워셔스타인 거리를 사용하여 WGAN 추정량의 초과 베이즈 위험에 대한 상한을 도출하는 것.
• 의존성 존재 하에서 WGAN 추정량의 약한 수렴을 체계화하고, 새로운 관측치에 대한 점차적 유효한 신뢰구간을 구축할 수 있도록 하는 것.
• 생성자에 대한 구조적 가정이 차원의 극복 문제에 미치는 영향을 조사하는 것.
• i.i.d. 설정을 초월하여 β-혼합 계수를 통해 의존성을 통합함으로써 기존 GAN 이론을 확장하는 것.

제안 방법

• 의존된 데이터 하에서 약한 수렴을 메트라이즈하는 수정된 워셔스타인 거리 $ W_{1,n} $ 를 사용한 WGAN 이론적 분석.
• 근사 오차 상한을 도출하기 위해 생성자 $ g $ 를 헬더 클래스의 함수로 모델링.
• 시계열의 의존성을 정량화하기 위해 $ \beta $-혼합 계수를 사용하여 약한 의존성 하에서 수렴 결과를 도출.
• 잠재 분포 $ \mathbb{P}^Z $ 에서 $ N $개의 샘플을 추출하여 신뢰구간 $ I_{N,n}(A_{i-1}) $ 를 구성하고, 커버리지를 경험적으로 평가.
• 여러 시계열에 걸쳐 공통된 생성자 아키텍처를 사용하여 조건부 WGAN을 훈련하고, 잠재 노이즈와 조건부 입력 $ Y $ 를 활용.
• 시험 및 훈련 세트에서 최적 운반 거리(OT)와 95% 신뢰구간의 경험적 커버리지를 통해 성능을 평가.

실험 결과

연구 질문

• RQ1 의존적인 시계열 데이터 하에서 WGAN 추정량의 초과 베이즈 위험 수렴 속도는 무엇인가?
• RQ2 의존성이 존재하는 상황에서 WGAN 추정량의 약한 수렴을 어떻게 체계적으로 확립할 수 있는가?
• RQ3 WGAN를 사용하여 새로운 시계열 관측치에 대해 점차적 유효한 신뢰구간을 구성할 수 있는가?
• RQ4 생성자 네트워크에 대한 구조적 가정은 근사 오차와 차원의 극복 문제에 어떤 영향을 미치는가?
• RQ5 훈련 에포크 수를 늘일수록 WGAN 추정량의 안정성과 성능에 어떤 영향을 미치는가?

주요 결과

• 성장하는 크리틱 네트워크를 갖춘 WGAN 목적함수 역시 여전히 약한 수렴을 메트라이즈하여 의존성 하에서도 통계적 타당성을 보장한다.
• 기온 예측 과제에서, 1000 에포크 후 모델 (M3) 는 테스트 세트에서 70.71%의 경험적 95% 신뢰구간 커버리지를 달 đạt하였다.
• 2000개의 훈련 에포크를 거친 후 모델 (M3) 는 베를린 기온에 대해 86.19%의 테스트 커버리지로 향상되었으며, 향후 개선 가능성을 시사한다.
• 2000 에포크 후 모델 (M3) 의 최적 운반 거리는 2.35였고, 이는 고차원 예측(32개 도시)에도 불구하고 안정적인 학습을 보여주었다.
• 단지 3차원 조건부 입력을 갖는 모델 (M1) 은 더 빠른 수렴 속도를 보였지만, (M2) 및 (M3) 와 유사한 최종 성능을 달성하여 입력 차원에 대한 강건성을 보였다.
• 이론적 결과는 β-혼합 종속성 하에서도 성립하므로, 수렴 속도를 희생시키지 않고도 대규모 생성자 네트워크를 사용할 수 있음을 정당화한다.