[論文レビュー] Harmonizing Maximum Likelihood with GANs for Multimodal Conditional Generation

Soochan Lee, Junsoo Ha+1 more|arXiv (Cornell University)|Feb 25, 2019

Speech Recognition and Synthesis参考文献 44被引用数 14

ひとこと要約

本稿では、条件付き GAN における従来の再構成損失の代わりにモーメント再構成（MR）損失を提案し、訓練の安定性とマルチモーダル生成を両立する。最大尤度推定を用いて、実データ分布の条件付き平均と分散を一致させることで、Cityscapes および CelebA データセットにおける画像対画像変換、超解像、穴埋めの分野で、最先端の多様性と視覚的忠実度を達成する。

ABSTRACT

Recent advances in conditional image generation tasks, such as image-to-image translation and image inpainting, are largely accounted to the success of conditional GAN models, which are often optimized by the joint use of the GAN loss with the reconstruction loss. However, we reveal that this training recipe shared by almost all existing methods causes one critical side effect: lack of diversity in output samples. In order to accomplish both training stability and multimodal output generation, we propose novel training schemes with a new set of losses named moment reconstruction losses that simply replace the reconstruction loss. We show that our approach is applicable to any conditional generation tasks by performing thorough experiments on image-to-image translation, super-resolution and image inpainting using Cityscapes and CelebA dataset. Quantitative evaluations also confirm that our methods achieve a great diversity in outputs while retaining or even improving the visual fidelity of generated samples.

研究の動機と目的

• 再構成損失がモード崩壊を引き起こし、出力の多様性を低下させるという、条件付き GAN における根本的な限界を解消する。
• GAN 損失と再構成損失の不一致が、安定性とマルチモーダル性の両方を最適化するのを妨げる問題を克服する。
• モデルアーキテクチャを変更せずに再構成損失をモーメント再構成損失に置き換える汎用的な訓練手法を開発する。
• 画像対画像変換、超解像、穴埋めを含む、複数の条件付き生成タスクにおいて、多様で高忠実度の画像生成を可能にする。
• 最初のモーメント（平均）のみを一致させても、有効な GAN 訓練が可能であることが示され、性能を損なわず複雑性を低減できる。

提案手法

• 従来の L1/L2 再構成損失の代わりに、生成器が実データ分布の条件付き統計（平均と分散）を予測するモーメント再構成（MR）損失を導入する。
• 最大尤度推定（MLE）を用いて、与えられた条件のもとで実画像の条件付き平均と分散を生成器が予測するように訓練する。
• 生成分布の統計が予測された実データの統計と一致するように、新しい損失関数を導入することで、訓練の安定性と多様性を向上させる。
• 別個のネットワークを用いて統計を予測する「プロキシ MR 損失」を提案し、生成器がピクセルレベルの再構成に対する直接的な監視から分離する。
• MR 損失およびプロキシ MR 損失を GAN 損失と併用することで、GAN の忠実度の利点を維持しつつ、マルチモーダル出力を可能にする。
• GAN 損失（現実性のため）と MR／プロキシ MR 損失（統計的一致性と多様性のため）を組み合わせた損失関数を用いて、エンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 なぜ、1対多のマッピングで学習されているにもかかわらず、従来の条件付き GAN は再構成損失を用いることで多様な出力を生成できないのか？
• RQ2 再構成損失を統計的モーメントに基づく損失に置き換えることで、条件付き生成における訓練の安定性と出力の多様性が向上するか？
• RQ3 高次モーメント（例：分散）を一致させる必要があるのか、それとも平均のみを一致させるのでも十分なマルチモーダル生成が可能か？
• RQ4 BicycleGAN やノイズ注入ベースラインと比較して、提案手法のモーメント再構成損失は、現実性と多様性の両面で優れているか？
• RQ5 提案手法は、画像対画像変換、超解像、画像穴埋めといった多様な条件付き生成タスクに一般化可能か？

主な発見

• Gaussian プロキシ MR 2 損失は、Pix2Pix–Cityscapes で多様性スコア 0.519 を達成し、BicycleGAN（0.191）と Pix2Pix+noise（0.004）を大きく上回った。
• SRGAN–CelebA タスクでは、多様性スコア 0.050、現実性スコア 0.52 を達成し、SRGAN+noise（多様性 0.005、現実性 0.60）を上回った。
• GLCIC–CelebA では、多様性スコア 0.060、現実性スコア 0.33 を達成し、GLCIC+noise（多様性 0.004、現実性 0.28）を上回った。
• MR 1 およびプロキシ MR 1 損失は、MR 2 およびプロキシ MR 2 と同等またはより優れた性能を示し、多くの場合、平均のみを一致させるのでも十分であることを示した。
• 本手法は、すべてのタスクで一貫して多様性を向上させつつ、現実性を維持または向上させた。これは、モーメント再構成損失が忠実度と多様性のトレードオフを効果的に解消できることを確認した。
• 人間評価では、生成されたサンプルが非常に現実的で多様であることが確認され、特にプロキシ MR 1 損失は、Pix2Pix–Cityscapes ベンチマークで最高の多様性スコア（0.519）を達成した。