[論文レビュー] Sliced-Wasserstein Autoencoder: An Embarrassingly Simple Generative Model

Soheil Kolouri, Pope, Phillip E.+2 more|arXiv (Cornell University)|Apr 5, 2018

Generative Adversarial Networks and Image Synthesis参考文献 22被引用数 62

ひとこと要約

SWAE は潜在コード分布をサンプリング可能な prior に合わせることで正規化する Autoencoder。Sliced-Wasserstein distance を用い、 adversarial training を回避しつつ Wasserstein に似た利点を得る。

ABSTRACT

In this paper we study generative modeling via autoencoders while using the elegant geometric properties of the optimal transport (OT) problem and the Wasserstein distances. We introduce Sliced-Wasserstein Autoencoders (SWAE), which are generative models that enable one to shape the distribution of the latent space into any samplable probability distribution without the need for training an adversarial network or defining a closed-form for the distribution. In short, we regularize the autoencoder loss with the sliced-Wasserstein distance between the distribution of the encoded training samples and a predefined samplable distribution. We show that the proposed formulation has an efficient numerical solution that provides similar capabilities to Wasserstein Autoencoders (WAE) and Variational Autoencoders (VAE), while benefiting from an embarrassingly simple implementation.

研究の動機と目的

• 最適輸送と Wasserstein 距離を用いて autoencoder でスケーラブルな生成モデリングを動機づける。
• 敵対的学習なしで事前定義された、サンプリング可能な潜在分布を課す新しいオートエンコーダフレームワーク（SWAE）を提案する。
• エンコーダ–デコーダ学習における sliced-Wasserstein 正則化を計算するための簡易で効率的な数値スキームを開発する
• SWAE を画像データセット（MNIST, CelebA）で実証し、他の生成モデルと質的および埋め込み空間の性質を比較する。

提案手法

• SWAE を結合目的関数の最小化として定式化する：pX to pY Wasserstein term plus lambda times SWc(pZ, qZ).
• 決定論的なエンコーダー φ とデコーダー ψ を用いて X を潜在 Z に、再び戻す。pZ は φ によって誘導される。
• pZ と qZ の乖離を sliced-Wasserstein 距離 SWc で測定し、敵対的ネットワークを回避する。
• SWc を有界なランダム方向 θ の集合に射影し、一つの次元 Wasserstein 距離を計算して近似する。
• 1D Wasserstein 距離は経験サンプルのソーティングによって計算し、効率的な SGD ベースの最適化を可能にする。
• 実践的なアルゴリズム（Algorithm 1）を提供し、エンコード/デコード更新とランダム射影による潜在空間整合の間を交互に行う。

実験結果

リサーチクエスチョン

• RQ1 敵対的訓練なしに潜在空間で柔軟でサンプリング可能な prior をどのように課すことができるか？
• RQ2 sliced-Wasserstein 距離は encoder 空間で pZ を qZ に一致させる実用的で効果的な代替手段を提供するか？
• RQ3 SWAE はより簡単な実装で Wasserstein Autoencoders (WAE) や VAE と同等の生成品質と再構成品質を達成できるか？
• RQ4 MNIST で qZ を特定の分布（例：リング、円、均一）にした場合、埋め込み空間にどんな性質が現れるか？
• RQ5 CelebA のようなより複雑なデータセットでは、潜在次元を増やすと再構成と潜在空間構造にどんな影響があるか？

主な発見

• SWAE は MNIST で予め定義されたサンプリング可能 priors（例：リング、均一、円、ボウル）に潜在エンコーディング分布をうまく形成しつつ、デコーダ可能性を保つ。
• MNIST では、エンコーダの埋め込み空間が選択された qZ 分布に closely に従い、訓練済みデコーダでデコード可能なままである。
• CelebA では、データのばらつきをよりよく捉えるために高次元埋め込み（128D）を使用し、エンコーディング空間の線形補間は一貫したデコード出力を生む。
• SWAE は敵対的訓練に依存する方法と質的に競合する結果を達成しつつ、潜在空間で敵対的最適化を回避する。
• 可視化実験は、qZ が均一で埋め込み次元が十分な場合（例：128D）埋込空間に凸性のような性質を示す。
• 提案手法は、1D ソーティングとランダム射影に基づく効率的な数値スキームを提供し、コストの高い敵対的ネットワークを回避する。