[論文レビュー] COT-GAN: Generating Sequential Data via Causal Optimal Transport

Tianlin Xu, Li Kevin Wenliang+2 more|arXiv (Cornell University)|Jun 15, 2020

Generative Adversarial Networks and Image Synthesis参考文献 47被引用数 37

ひとこと要約

COT-GAN は因果的最適輸送ベースの敵対的フレームワークをエントロピー正則化と混合 Sinkhorn 発散を用いて導入し、逐次データの潜在生成モデルを訓練し、時系列とビデオタスクで安定性と高い性能を実現します。

ABSTRACT

We introduce COT-GAN, an adversarial algorithm to train implicit generative models optimized for producing sequential data. The loss function of this algorithm is formulated using ideas from Causal Optimal Transport (COT), which combines classic optimal transport methods with an additional temporal causality constraint. Remarkably, we find that this causality condition provides a natural framework to parameterize the cost function that is learned by the discriminator as a robust (worst-case) distance, and an ideal mechanism for learning time dependent data distributions. Following Genevay et al.\ (2018), we also include an entropic penalization term which allows for the use of the Sinkhorn algorithm when computing the optimal transport cost. Our experiments show effectiveness and stability of COT-GAN when generating both low- and high-dimensional time series data. The success of the algorithm also relies on a new, improved version of the Sinkhorn divergence which demonstrates less bias in learning.

研究の動機と目的

• 潜在生成モデルを用いて現実的な逐次データを生成する課題を動機づけ、解決する。
• 因果的最適輸送（COT）を、時間的に予測不能な輸送計画を制約する枠組みとして導入する。
• エントロピー正則化された COT 目的関数とバイアスに対して頑健な混合 Sinkhorn 発散を開発する（ミニバッチ訓練用）。
• 時間依存データ分布を学習する敵対訓練アルゴリズム（COT-GAN）を提案する。
• 低次元から高次元の時系列およびビデオデータでの有効性と安定性を実証する。

提案手法

• 時刻 t における輸送が時点 t までのソースデータのみに依存できるよう、因果輸送計画 Pi^K(mu,nu) を定義する。
• 正則化された COT を定式化: K_c,epsilon(mu,nu)=E^{pi^K}_{c,epsilon}[c(x,y)]。
• 非因果コスト c+l の族の最大化 over を介して等価であることを示す（l ∈ L(mu) ）。
• エントロピー正則化と混合 Sinkhorn 発散を導入してミニバッチバイアスを低減: W_hat^{mix}_{c,e}(mu,nu) はバッチ項の混合で。
• コストを c^K_phi(x,y)=c(x,y)+sum_t sum_j h^j_t(y) Delta_{t+1}M^j(x) としてパラメータ化し、因果性を適応的に強制する。
• learned M が近似マルチンゲール性を満たすようにマルチンゲールペナルティを組み込む。
• 識別器上の混合 Sinkhorn 項を最大化し、生成器側で最小化する敵対的目的関数で訓練する（Algorithm 1）。
• バッチベースの訓練に対する各反復あたりの複雑さを O((J+d)LT m^2) と提供。

実験結果

リサーチクエスチョン

• RQ1 COT は逐次データ生成の因果的時系列依存性を輸送計画に組み込むことができるか？
• RQ2 エントロピー正則化と混合 Sinkhorn 発散の組み合わせはミニバッチ訓練の推定バイアスを低減するか？
• RQ3 COT-GAN は時系列およびビデオデータで既存の逐次生成モデル（例：TimeGAN、WaveGAN、SinkhornGAN）より優れているか？
• RQ4 提案されたマルチンゲールペナルティと因果性ベースのコストは時系列分布の学習にどう影響するか？
• RQ5 高次元のシーケンスや時空間構造を持つビデオデータへのスケーラビリティはあるか？

主な発見

データセット	手法	FVD	FID	KVD	KID
Sprites	MoCoGAN	1108.2	280.25	146.8	0.34
Sprites	minW- mix (Sinkhorn)	498.8	81.56	83.2	0.078
Sprites	COT-GAN	458.0	84.6	66.1	0.081
Human actions	MoCoGAN	1034.3	151.3	89.0	0.26
Human actions	minW- mix (Sinkhorn)	507.6	120.7	34.3	0.23
Human actions	COT-GAN	462.8	58.9	43.7	0.13

• COT-GAN は、時系列と EEG データの時系列・空間相関の整合性という点で、ベースラインと比較して競争力のある、あるいは優れたサンプル品質を示す。
• 混合 Sinkhorn 発散はミニバッチ訓練のバイアスを低減し、望ましいデータ分布への収束を改善する。
• ビデオデータセット（Sprites と人間の行動）では、COT-GAN は MoCoGAN および最小混合 Sinkhorn ベースラインに対して有利な指標（FVD, FID, KVD, KID）を達成する。
• アブレーション研究は、混合 Sinkhorn 発散とマルチンゲールペナルティの両方が性能向上に寄与し、特に混合 Sinkhorn 項が影響力が大きい。
• COT-GAN は低次元・高次元の逐次データ、含む高次元のビデオフレームでの堅牢な性能を示している。