[論文レビュー] Time-series Generation by Contrastive Imitation

Daniel Jarrett, Ioana Bica+1 more|arXiv (Cornell University)|Nov 2, 2023

Time Series Analysis and Forecasting被引用数 7

ひとこと要約

TimeGCI を提案する非対立的な模倣ベースのフレームワーク。将来を見据えたポリシーを学習して時系列を生成し、対照的に訓練されたエネルギーモデルで軌道の質を評価する。

ABSTRACT

Consider learning a generative model for time-series data. The sequential setting poses a unique challenge: Not only should the generator capture the conditional dynamics of (stepwise) transitions, but its open-loop rollouts should also preserve the joint distribution of (multi-step) trajectories. On one hand, autoregressive models trained by MLE allow learning and computing explicit transition distributions, but suffer from compounding error during rollouts. On the other hand, adversarial models based on GAN training alleviate such exposure bias, but transitions are implicit and hard to assess. In this work, we study a generative framework that seeks to combine the strengths of both: Motivated by a moment-matching objective to mitigate compounding error, we optimize a local (but forward-looking) transition policy, where the reinforcement signal is provided by a global (but stepwise-decomposable) energy model trained by contrastive estimation. At training, the two components are learned cooperatively, avoiding the instabilities typical of adversarial objectives. At inference, the learned policy serves as the generator for iterative sampling, and the learned energy serves as a trajectory-level measure for evaluating sample quality. By expressly training a policy to imitate sequential behavior of time-series features in a dataset, this approach embodies "generation by imitation". Theoretically, we illustrate the correctness of this formulation and the consistency of the algorithm. Empirically, we evaluate its ability to generate predictively useful samples from real-world datasets, verifying that it performs at the standard of existing benchmarks.

研究の動機と目的

• 時系列生成における蓄積誤差問題を動機付けて形式化する。
• 前方的なポリシーを介して逐次的挙動を模倣する生成フレームワークを開発する。
• 対照学習によって訓練されたグローバルな軌道レベルのエネルギーモデルをデカップルな評価器として導入する。
• 露出バイアスとサドルポイント最適化を回避する非対立的な学習ループを提供する。
• 実世界の時系列データでの一貫性と実証的有効性を示す。

提案手法

• histories h_t と軌道 τ を用いた時系列生成設定を定義し、occupancy measure μ_s(h) を導入する。
• まず局所的遷移を一致させ、その後エネルギーベースモデルによってグローバルな軌道分布を一致させるという二重目的を提案する。
• 実データと生成データを対比させる構造化分類器 d_{θ,φ} を定式化し、対照学習目的を導出する。
• ネストされた最小-最大最適化を、ポリシー p_θ が時系列挙動を模倣し、エネルギーモデル p_φ がサンプルを評価する対照フレームワークに置換する。
• 実用的なアルゴリズム（TimeGCI）を、ポリシー最適化（ソフトアクタークリティック）と対照的エネル updater の組み合わせ、および価値推定のクリティックを組み合わせて用いる。
• エネルギーモデルのグローバル最適性を主張し、グローバルモーメントマッチングを通じて露出バイアスを低減する。

実験結果

リサーチクエスチョン

• RQ1 露出バイアスを避けつつ、逐次条件付きと結合軌道分布の両方を満たす時系列データをどのように生成できるか？
• RQ2 前方的ポリシーを訓練して逐次的時系列挙動を模倣させつつ、対照学習によって訓練されたエネルギーモデルが軌道の質を評価できるか？
• RQ3 非対立的なエネルギーベース評価は時系列生成におけるGANベースの訓練に対する安定な代替を提供するか？
• RQ4 この対照的模倣フレームワークの一貫性と最適性についてどんな理論的保証が提供できるか？
• RQ5 TimeGCI は自動回帰MLEおよびGANベース手法と実データセットでどう比較されるか？

主な発見

• TimeGCI を提案する。逐次挙動を模倣する条件付きポリシーと軌道を評価するエネルギーモデルを訓練する非対立的フレームワーク。
• 対照的目的が緩やかな正定性条件の下でエネルギーモデルのグローバル最適性をもたらすことを示す。
• サンプルサイズが増加するにつれてエネルギーモデルが真のデータ分布に収束する漸近的一貫性を示す。
• 適応的な負サンプル（ポリシーによる）によりエネルギーモデルを段階的に難しくすることで学習を改善する。
• ネストされた内部ループを避け、ポリシーとエネルギー更新を交互に実行する実用的な最適化アルゴリズムを提供する。