[論文レビュー] Disentangled Recurrent Wasserstein Autoencoder

Jun Han, Martin Renqiang Min+3 more|arXiv (Cornell University)|May 3, 2021

Generative Adversarial Networks and Image Synthesis参考文献 53被引用数 2

ひとこと要約

本稿では、Wasserstein GANに基づく目的関数を用いて、時間に依存しない（静的）要因と時間に依存する（動的）要因に逐次データを分離する生成モデル、再帰的 Wasserstein自己オートエンコーダー（R-WAE）を提案する。罰則付き Wasserstein 距離の上界を最小化し、入力と分離された要因間の相互情報量を最大化することで、定量的および定性的な指標においてベースラインを上回る、分離性と動画生成品質の向上を達成する。

ABSTRACT

Learning disentangled representations leads to interpretable models and facilitates data generation with style transfer, which has been extensively studied on static data such as images in an unsupervised learning framework. However, only a few works have explored unsupervised disentangled sequential representation learning due to challenges of generating sequential data. In this paper, we propose recurrent Wasserstein Autoencoder (R-WAE), a new framework for generative modeling of sequential data. R-WAE disentangles the representation of an input sequence into static and dynamic factors (i.e., time-invariant and time-varying parts). Our theoretical analysis shows that, R-WAE minimizes an upper bound of a penalized form of the Wasserstein distance between model distribution and sequential data distribution, and simultaneously maximizes the mutual information between input data and different disentangled latent factors, respectively. This is superior to (recurrent) VAE which does not explicitly enforce mutual information maximization between input data and disentangled latent representations. When the number of actions in sequential data is available as weak supervision information, R-WAE is extended to learn a categorical latent representation of actions to improve its disentanglement. Experiments on a variety of datasets show that our models outperform other baselines with the same settings in terms of disentanglement and unconditional video generation both quantitatively and qualitatively.

研究の動機と目的

• 静的データ（画像など）と比較して、まだ十分に検討が進んでいない、逐次データにおける教師なし分離表現学習の課題に対処すること。
• 逐次系列において、時間に依存しない（静的）要因と時間に依存する（動的）要因を明示的に分離する生成モデルの開発。
• 入力データと潜在要因の間の相互情報量を最大化するとともに、罰則付き Wasserstein 距離の上界を共同で最小化することで、分離性と生成品質の向上。
• 行動回数の弱い教師信号を活用し、行動のカテゴリカルな潜在表現を学習することで、動的要因の分離性をさらに向上させること。

提案手法

• 共通のエンコーダーと2つの異なる潜在空間を用いて、時間に依存しない成分と時間に依存する成分に分離する、逐次入力を分離潜在コードにマップする再帰的アーキテクチャを提案。
• モデルが生成する分布と真のデータ分布との間の罰則付き Wasserstein 距離の上界を最小化するため、Wasserstein GANに基づく目的関数を採用。
• 入力系列と分離された潜在要因の間の相互情報量を最大化する目的関数を導入し、表現品質と分離性の向上を図る。
• 行動のカテゴリカルな潜在表現を学習するために、既知の行動回数からの弱い教師信号を統合し、動的要因の分離性を強化。
• 提案された目的関数に従って、事後分布近似を用いた変分推論フレームワークを採用し、エンド・ツー・エンドのオートエンコーダー学習を可能にする。
• WGAN-GPと同様に、勾配ペナルティを適用して学習を安定化させ、ディスクライマーが1-Lipschitz性を保つようにする。

実験結果

リサーチクエスチョン

• RQ1 教師なし学習下で、再帰的オートエンコーダー枠組みが、逐次データの静的要因と動的要因を効果的に分離できるか。
• RQ2 罰則付き Wasserstein 距離の上界を最小化することで、標準的な VAE と比較して、逐次データ生成の品質が向上するか。
• RQ3 入力系列と分離された潜在要因の間の相互情報量を最大化することで、分離性と生成性能がどの程度向上するか。
• RQ4 行動回数の弱い教師信号を用いることで、逐次表現における分離性がさらに向上するか。
• RQ5 R-WAE モデルは、既存のベースラインと比較して、分離性および無条件動画生成品質においてどのように優れているか。

主な発見

• MIG や dci スコアといった定量的指標で測定したところ、複数の逐次データセットにおいて、R-WAE モデルはベースラインモデルと比較して優れた分離性能を達成した。
• 無条件生成タスクにおいて、R-WAE は標準的な R-VAE や他のベースラインと比較して、視覚的品質と時間的整合性に優れた高品質な動画サンプルを生成した。
• 相互情報量最大化を組み込むことで、分離性が顕著に向上し、静的および動的要因のより意味的で独立した表現を学習することが可能になった。
• 行動回数の教師信号が提供された場合、モデルは行動のより構造的なカテゴリカルな潜在表現を学習し、動的成分の分離性がさらに向上した。
• 理論的分析により、R-WAE が罰則付き Wasserstein 距離の上界を最小化していることが確認され、逐次生成に適した健全な最適化目的関数を提供している。
• 実験的結果から、定量的評価および定性的な人間評価の両方で一貫した改善が得られ、モデルの頑健性と一般化能力の高さが示された。