[論文レビュー] Cramer-Wold AutoEncoder

Szymon Knop, Jacek Tabor+4 more|arXiv (Cornell University)|May 23, 2018

Generative Adversarial Networks and Image Synthesis参考文献 26被引用数 17

ひとこと要約

本稿では、サンプリングを用いず、事後分布と事前分布の距離を計算するために、新しい閉形式のCramer-Woldカーネルを用いた生成モデル、Cramer-Wold AutoEncoder (CWAE) を提案する。解析的計算による発散の計算を可能にすることで、WAE-MMD や SWAE よりも高速な学習と向上した性能を達成しており、特に径方向ガウスカーネル積による効率的な最適化のおかげで顕著である。

ABSTRACT

We propose a new generative model, Cramer-Wold Autoencoder (CWAE). Following WAE, we directly encourage normality of the latent space. Our paper uses also the recent idea from Sliced WAE (SWAE) model, which uses one-dimensional projections as a method of verifying closeness of two distributions. The crucial new ingredient is the introduction of a new (Cramer-Wold) metric in the space of densities, which replaces the Wasserstein metric used in SWAE. We show that the Cramer-Wold metric between Gaussian mixtures is given by a simple analytic formula, which results in the removal of sampling necessary to estimate the cost function in WAE and SWAE models. As a consequence, while drastically simplifying the optimization procedure, CWAE produces samples of a matching perceptual quality to other SOTA models.

研究の動機と目的

• 損失関数の計算においてサンプリングを排除することで、より効率的な生成オートエンコーダーの開発を目的とする。
• 分布間の距離計測の閉形式表現を導出することで、潜在空間正則化の最適化を簡素化することを目的とする。
• SWAE（射影に基づく距離）と WAE-MMD（特徴的カーネルに基づく発散）の長所を統合した1つのモデルを構築することを目的とする。
• MNIST、CIFAR-10、CelebA などの標準ベンチマークにおいて、学習速度と性能の向上を図ることを目的とする。
• ガウス・ミックスチュアの正規性からの発散を信頼性があり解析的に測定するための手段を提供することを目的とする。

提案手法

• 径方向ガウス分布の積に対して閉形式表現を持つ特徴的カーネルである Cramer-Wold カーネルを提案する。
• Cramer-Wold 距離は、すべての1次元直線への滑らかな射影の平均二乗 L2 距離として定義される。
• WAE フレームワークに Cramer-Wold カーネルを組み込み、事前分布と事後分布の発散を解析的に計算することで、CWAE モデルを構築する。
• 単射性を保証し、他のカーネルで一般的に見られる指数的減衰の問題を回避する特徴的カーネルを採用する。
• WAE-MMD が U 統計量を用いるのに対し、学習安定性を向上させるために損失関数の対数変換版を採用する。
• Adam 最適化を用いて、フィードフォワードおよび畳み込み・デコンボリューションアーキテクチャを用いた画像生成タスクにモデルを適用する。

実験結果

リサーチクエスチョン

• RQ1 正規事前分布を想定するオートエンコーダーにおいて、分布間の閉形式距離計測を導出することで、損失関数の計算におけるサンプリングを排除できるか？
• RQ2 SWAE の1次元射影と WAE-MMD の特徴的カーネル手法を統合することで、より効率的かつ効果的な生成モデルが得られるか？
• RQ3 Cramer-Wold カーネルは、WAE フレームワークにおけるサンプルベースの MMD 評価の代替として、安定的かつ解析的な代替手段を提供できるか？
• RQ4 標準ベンチマーク上で、CWAE の学習速度と生成品質は WAE-MMD や SWAE と比べてどのように異なるか？
• RQ5 CWAE で用いられる対数変換損失は、WAE-MMD が使用するサンプルベースの U 統計量とは異なり、学習安定性を向上させるか？

主な発見

• バッチサイズが 256 までの場合、CWAE は 1 バッチあたりの学習時間を 2 倍高速化し、最適化効率において WAE-MMD や SWAE を上回る。
• FID スコアおよび IS スコアによる評価において、MNIST、CIFAR-10、CelebA における生成品質は、WAE-MMD や SWAE と同等またはそれ以上に保たれている。
• Cramer-Wold カーネルにより、事後分布と事前分布の発散が正確に解析的に計算可能となり、損失関数におけるモンテカルロサンプリングの必要性が排除された。
• バッチサイズが 1024 を超えると、CWAE はその2次関数的計算量のため遅延が生じるが、実際の応用ではこのようなバッチサイズはほとんど使用されない。
• CWAE における対数変換損失は、WAE-MMD が使用するサンプルベースの U 統計量とは異なり、学習安定性を向上させる。
• 実験で用いられたアーキテクチャは、先行研究（例：Tolstikhin et al., 2017）と同一であり、性能向上の直接的比較と妥当性の検証が可能である。