[論文レビュー] On the Latent Space of Wasserstein Auto-Encoders

Paul K. Rubenstein, Bernhard Schoelkopf+1 more|arXiv (Cornell University)|Feb 11, 2018

Generative Adversarial Networks and Image Synthesis参考文献 9被引用数 21

ひとこと要約

本稿では、潜在空間次元の不一致に強い耐性を発揮するように、Wasserstein自己符号化器（WAEs）におけるランダムエンコーダの使用を提案する。特に、潜在次元がデータの内因的次元を上回る場合に有効である。実験では、ランダムエンコーダが再構成品質および分離性の両面で決定的エンコーダを上回ることを示し、dSpritesベンチマークにおいて98.8%の分離性を達成し、β-VAEに比べて顕著に優れた再構成性能を示した。

ABSTRACT

We study the role of latent space dimensionality in Wasserstein auto-encoders (WAEs). Through experimentation on synthetic and real datasets, we argue that random encoders should be preferred over deterministic encoders. We highlight the potential of WAEs for representation learning with promising results on a benchmark disentanglement task.

研究の動機と目的

• 潜在空間次元の不一致がWAEの性能に与える影響を調査すること。
• 潜在次元が内因的データ次元を上回る場合に、WAEにおける決定的エンコーダの限界を解消すること。
• ランダムエンコーダがWAEにおける表現学習および一般化性能を向上させることを評価すること。
• ランダムエンコーダを搭載したWAEを分離性タスクでベンチマーク化し、β-VAEなどの最先端手法と性能を比較すること。

提案手法

• 著者らは、WAEのミニマックス形式を用い、期待再構成誤差に加え、集約事後分布と事前分布間の正則化された最適輸送距離を最小化する。
• 固定された平均と分散を持つ決定的エンコーダと、確率的符号分布を用いるランダムエンコーダを比較し、正規分布および一様分布を事前分布として用いる。
• 正則化として、高次元潜在空間における分散の崩壊を防ぐために、エンコーダの分散にL1ペナルティを適用する。
• モデルは、エンコーダおよびデコーダに深層ニューラルネットワークを用い、推論時には学習された分布から潜在コードをサンプリングする。
• 実験は、合成データ（消える正方形）および実世界データ（CelebA）を用い、分離性評価にはdSpritesデータセットを用いる。
• 分離性指標は、潜在コードに対する線形分類器を用いて計算され、再構成誤差は平均二乗誤差で測定される。

実験結果

リサーチクエスチョン

• RQ1 潜在空間次元の不一致はWAEの性能にどのように影響するか？
• RQ2 潜在次元が内因的データ次元を上回る場合に、ランダムエンコーダはWAEの性能を向上させ得るか？
• RQ3 ランダムエンコーダを搭載したWAEは、β-VAEと比較して分離性および再構成品質の面で優れているか？
• RQ4 最先端手法に比べ、より優れた分離性を達成しつつ、優れた再構成性能を維持できるか？

主な発見

• ランダムエンコーダを搭載したWAEは、5変数dSpritesタスクで98.8%の分離性を達成し、β-VAEの85.4%を顕著に上回った。
• 最良のWAEは、テスト再構成誤差が94.0±5.8を記録したのに対し、β-VAEは同じタスクで156.1±5.7を記録した。
• 4変数分離性タスクでは、WAEはβ-VAEと同等の99.23%の分離性を達成したが、再構成誤差は40.8±1.5とβ-VAEの114.8±5.2を下回った。
• d_Z ≫ d_I の場合、特に高次元潜在空間において、ランダムエンコーダは決定的エンコーダを上回った。
• 適切な分散正則化を施すことで、ランダムエンコーダWAEは未知の内因的データ次元に効果的に適応できた。
• 可視化された再構成画像から、WAEはβ-VAEに比べて画像品質をより良く保持していたことが確認されたが、同時に優れた分離性を達成していた。