[논문 리뷰] Time-series Generation by Contrastive Imitation

Daniel Jarrett, Ioana Bica외 1명|arXiv (Cornell University)|2023. 11. 02.

Time Series Analysis and Forecasting인용 수 7

한 줄 요약

TimeGCI를 제안하는 비적대적, 모방 기반 프레임워크로, 앞으로를 내다보는 정책을 학습해 시계열을 생성하는 한편 대조적으로 학습된 에너지 모델을 사용해 궤적 품질을 평가한다.

ABSTRACT

Consider learning a generative model for time-series data. The sequential setting poses a unique challenge: Not only should the generator capture the conditional dynamics of (stepwise) transitions, but its open-loop rollouts should also preserve the joint distribution of (multi-step) trajectories. On one hand, autoregressive models trained by MLE allow learning and computing explicit transition distributions, but suffer from compounding error during rollouts. On the other hand, adversarial models based on GAN training alleviate such exposure bias, but transitions are implicit and hard to assess. In this work, we study a generative framework that seeks to combine the strengths of both: Motivated by a moment-matching objective to mitigate compounding error, we optimize a local (but forward-looking) transition policy, where the reinforcement signal is provided by a global (but stepwise-decomposable) energy model trained by contrastive estimation. At training, the two components are learned cooperatively, avoiding the instabilities typical of adversarial objectives. At inference, the learned policy serves as the generator for iterative sampling, and the learned energy serves as a trajectory-level measure for evaluating sample quality. By expressly training a policy to imitate sequential behavior of time-series features in a dataset, this approach embodies "generation by imitation". Theoretically, we illustrate the correctness of this formulation and the consistency of the algorithm. Empirically, we evaluate its ability to generate predictively useful samples from real-world datasets, verifying that it performs at the standard of existing benchmarks.

연구 동기 및 목표

• 시계열 생성에서 누적 오차 문제를 동기 부여하고 정형화한다.
• 앞으로를 내다보는 정책을 통해 순차 행동을 모방하는 생성 프레임워크를 개발한다.
• 대조적 추정을 통해 학습된 전역 궤적 수준의 에너지 모델을 분리된 평가기로 도입한다.
• 노출 편향과 곡선점 최적화를 피하는 비적대적 학습 루프를 제공한다.
• 실제 시계열 데이터에서 일관성과 실험적 효과를 입증한다.

제안 방법

• 역사 h_t와 궤적 τ를 가진 시계열 생성 설정을 정의하고 점유도(mu_s(h))를 도입한다.
• 먼저 국소 전이를 일치시키고 이후 에너지 기반 모델링을 통해 전역 궤적 분포를 일치시키는 이중 목표를 제안한다.
• 실제와 생성된 궤적을 대조하기 위해 구조적 분류기 d_{theta,phi}를 형식화하고 대조 학습 목표를 도출한다.
• 중첩된 최소-최대 최적화를 대조 프레임워크로 대체하여 정책 p_theta가 시계열 행동을 모방하고 에너지 모델 p_phi가 샘플을 평가한다.
• 정책 최적화(소프트 액터-비판)와 대조적 에너지 업데이트를 결합한 실용적 알고리즘(TimeGCI)과 가치 추정을 위한 크리틱을 사용한다.
• 에너지 모델의 전역 최적성과 글로벌 모멘트 매칭을 통해 노출 편향을 줄이는 접근이라고 주장한다.

실험 결과

연구 질문

• RQ1 노출 편향 없이 단계별 조건부와 전역 궤적 분포를 모두 만족하는 시계열 데이터를 어떻게 생성할 수 있는가?
• RQ2 앞으로를 내다보는 정책을 학습시켜 순차 시계열 행동을 모방하고 대조 학습으로 학습된 에너지 모델이 궤적 품질을 평가할 수 있는가?
• RQ3 비적대적이고 에너지 기반의 평가가 시계열 생성에서 GAN 기반 학습에 대한 안정적인 대안을 제공하는가?
• RQ4 이러한 대조 모방 프레임워크의 일관성과 최적성에 대해 어떤 이론적 보장을 제시할 수 있는가?
• RQ5 TimeGCI가 실제 데이터 세트에서 자기회귀 MLE 및 GAN 기반 방법과 어떻게 비교되는가?

주요 결과

• TimeGCI를 제안하는 비적대적 프레임워크로, 순차 행동을 모방하는 조건부 정책과 궤적을 평가하는 에너지 모델을 학습한다.
• 대조적 목표가 온당한 양성성 조건에서 에너지 모델의 전역 최적성을 야기함을 보인다.
• 샘플 크기가 커질수록 에너지 모델이 실제 데이터 분포로 수렴하는 점근적 일관성을 입증한다.
• 정책에 의한 적응적 음수 샘플이 에너지 모델을 점진적으로 도전시키며 학습을 개선한다고 주장한다.
• 정책과 에너지 업데이트를 교차하는 실용적 최적화 알고리즘을 제공해 중첩된 내부 루프를 피한다.