[논문 리뷰] TransFusion: Generating Long, High Fidelity Time Series using Diffusion Models with Transformers

Md Fahim Sikder, Resmi Ramachandranpillai외 1명|arXiv (Cornell University)|2023. 07. 24.

Generative Adversarial Networks and Image Synthesis인용 수 9

한 줄 요약

TransFusion은 확산 모델과 Transformer 인코더를 결합하여 긴, 고충실도 시계열을 생성합니다(최대 길이 384). GAN의 한계와 장거리 의존성 포착 문제를 해결합니다.

ABSTRACT

The generation of high-quality, long-sequenced time-series data is essential due to its wide range of applications. In the past, standalone Recurrent and Convolutional Neural Network-based Generative Adversarial Networks (GAN) were used to synthesize time-series data. However, they are inadequate for generating long sequences of time-series data due to limitations in the architecture. Furthermore, GANs are well known for their training instability and mode collapse problem. To address this, we propose TransFusion, a diffusion, and transformers-based generative model to generate high-quality long-sequence time-series data. We have stretched the sequence length to 384, and generated high-quality synthetic data. Also, we introduce two evaluation metrics to evaluate the quality of the synthetic data as well as its predictive characteristics. We evaluate TransFusion with a wide variety of visual and empirical metrics, and TransFusion outperforms the previous state-of-the-art by a significant margin.

연구 동기 및 목표

• 고차원이고 긴 시퀀스 데이터 및 광범위한 응용 분야(EHR, 궤적, 에너지 등)에 대한 합성 시계열 생성을 위한 동기를 부여한다.
• 모드 붕괴 없이 긴 시퀀스에 대해 높은 충실도와 다양한 커버리지를 생성할 수 있는 생성 모델을 개발한다.
• 긴 시퀀스 및 예측 특성에 맞춘 평가 지표를 제안한다.
• 확산 모델과 트랜스포머를 결합하는 것이 기존 방법보다 품질이 우수하다는 것을 입증한다.

제안 방법

• 시계열 데이터에 대해 denoising diffusion probabilistic model (DDPM) 프레임워크를 사용한다.
• 역방향 확산 과정에서 데이터 분포를 근사하기 위해 Transformer 인코더를 사용한다.
• 앞향 확산에 코사인 분산 스케줄러를 적용하고 트랜스포머 경로에서 위치 인코딩과 선형 투영을 사용한다.
• 단순 DDPM 오브젝트로 학습한다: L_simple = E_{t,x0,ε}[||ε − ε_θ(x_t,t)||^2].
• 두 가지 트랜스포머 기반 평가 지표를 제공한다: 후향 판별자 유사 충실도 점수(LDS)와 긴 시퀀스 예측 점수(LPS).
• 두 구성 요소의 필요성을 보이기 위해 확산-전용 및 트랜스포머-전용 변형과의 비교(ablation)를 수행한다.

실험 결과

연구 질문

• RQ1 확산 모델이 이전의 시퀀스 길이 한계를 넘어선 고품질의 긴 시퀀스 시계열 데이터를 생성할 수 있는가?
• RQ2 확산 역방향 과정에 Transformer 인코더를 통합하면 장거리 의존성 포착과 충실도가 향상되는가?
• RQ3 새로운 트랜스포머 기반 평가 지표가 이전의 CNN/RNN 기반 지표보다 긴 시퀀스 합성 데이터의 충실도와 예측 특성을 더 잘 평가하는가?

주요 결과

• TransFusion은 긴 시계열(최대 384)을 높은 충실도로 생성하고, 여러 데이터셋에서 이전 최첨단 방법을 능가한다.
• 확산 모델과 트랜스포머의 결합이 고품질의 긴 시퀀스 데이터를 달성하는 데 필요하다는 것을(ablation 결과) 보여준다.
• 두 가지 트랜스포머 기반 지표(Long-Sequence Discriminative Score 및 Long-Sequence Predictive Score)가 합성 데이터의 충실도와 예측 특성을 효과적으로 평가한다.
• TransFusion은 시각적(주성분 분석/ t-SNE) 및 실증 평가에서 강력한 성능을 보여주며 예측 작업에서도 GT-GAN, CotGAN, TimeGAN 등으로부터 우수함을 입증한다.
• 학습 효율성: TransFusion은 보고된 설정에서 GT-GAN보다 학습 시간이 현저히 짧은 5시간으로 강력한 결과를 달성한다(약 28시간과 비교).
• 이 방법은 더 긴 시퀀스 길이와 고차원 데이터에 대해 견고하며 모드 붕괴와 장거리 의존성 문제를 해결한다.