[論文レビュー] CDVAE: Co-embedding Deep Variational Auto Encoder for Conditional Variational Generation

Jiajun Lu, Aditya Deshpande+1 more|arXiv (Cornell University)|Dec 1, 2016

Generative Adversarial Networks and Image Synthesis参考文献 33被引用数 3

ひとこと要約

本稿では、潜在的コード空間におけるコード空間の崩壊を防ぐためにメトリクス制約を課す共同埋め込み型深層変分オートエンコーダー、CDVAEを提案する。入力の類似性をコード空間で保つようにモデルを誘導し、多モード出力のための混合密度ネットワーク（MDN）を用いることで、画像の再ライティングおよび再彩度化タスクにおいて、定量的・定性的な両評価で強力なベースラインを上回る、優れた多様性と品質を達成する。

ABSTRACT

Problems such as predicting a new shading field (Y) for an image (X) are ambiguous: many very distinct solutions are good. Representing this ambiguity requires building a conditional model P(Y|X) of the prediction, conditioned on the image. Such a model is difficult to train, because we do not usually have training data containing many different shadings for the same image. As a result, we need different training examples to share data to produce good models. This presents a danger we call "code space collapse" - the training procedure produces a model that has a very good loss score, but which represents the conditional distribution poorly. We demonstrate an improved method for building conditional models by exploiting a metric constraint on training data that prevents code space collapse. We demonstrate our model on two example tasks using real data: image saturation adjustment, image relighting. We describe quantitative metrics to evaluate ambiguous generation results. Our results quantitatively and qualitatively outperform different strong baselines.

研究の動機と目的

• 訓練データが散らばっており、1つの入力に対して複数の出力が存在しない視覚タスクにおいて、多モーダルな条件付き分布を学習する課題に対処すること。
• 条件付きVAEにおける「コード空間の崩壊」と呼ばれる失敗モードを同定・是正すること。これは、モデルが潜在変数を無視し、多様性の低い出力を生成する現象である。
• 類似した入力が類似したコードを生成し、類似しない入力が類似しないコードを生成するように制約を課すことにより、条件付き生成における一般化性と多様性を向上させること。
• 入力画像を条件として、空間的フィールド（例：陰影、彩度）を高品質かつ多様に生成できる手法を開発すること。特に、ペaired訓練データが限られている状況でも有効であるようにすること。

提案手法

• CDVAEは、入力の類似性をコード空間に保つように促すメトリクス制約を導入する。類似した入力は類似したコードにマッピングされ、類似しない入力は類似しないコードにマッピングされる。
• モデルは深層エンコーダーを用いて入力画像 $ X $ からコード $ c(x) $ を生成し、これを後続の混合密度ネットワーク（MDN）の入力として用いる。
• MDN部は、ガウス混合の混合パラメータ（平均、分散、重み）を予測することで、条件付き分布 $ P(Y|X) $ を明示的にモデル化し、多様で構造的な出力を可能にする。
• 再構成損失は、真値出力への忠実度を保証する。一方、KLダイバージェンス項は、潜在コード分布が標準正規分布に一致するように正則化する。
• メトリクス制約は、類似した入力のコードを引き寄せ、類似しない入力のコードを引き離す対照的損失として実装される。
• モデルはバックプロパゲーションを用いてエンドツーエンドで訓練され、メトリクス制約により、類似した入力に対して単一のコードに収束するのを防ぐ。

実験結果

リサーチクエスチョン

• RQ1 コード空間の崩壊を防ぐことで、散らばった訓練データに対しても頑健な条件付き変分オートエンコーダーを実現できるか？
• RQ2 コード空間にメトリクス制約を課すことで、曖昧な視覚タスクにおける条件付き生成の多様性と品質はどのように向上するか？
• RQ3 類似した入力に対してコードの類似性を強制することで、画像の再ライティングおよび再彩度化において一般化性が向上し、アーチファクトが減少する程度はどの程度か？
• RQ4 メトリクス制約付きコード空間と組み合わせた混合密度ネットワークの使用は、標準のCVAEやGANベースのアプローチに比べ、より優れた多モーダルモデリングを実現するか？

主な発見

• CDVAEは、両タスクにおいて100サンプルの状況で、すべてのサンプル数において真値との誤差が最小であり、再ライティングタスクでは1.11、再彩度化タスクでは3.82 (×10⁻²) の誤差を記録した。
• 100サンプルにおける予測の分散は、CDVAEが再ライティングで1.77、再彩度化で3.55と、CVAEの0.19および1.20よりも一貫して低く、多様性が高く、モード崩壊が少ないことを示している。
• 定性的な結果では、CVAEおよびCGANはモード崩壊を示し、多様性に欠けた、アーチファクトを含む出力を生成するが、CDVAEはより多様で空間的に整合性があり、現実的である結果を生成する。
• アブレーションスタディの結果、埋め込みの誘導を除去すると多様性が低下し、アーチファクトが増加するため、コード空間構造の維持にメトリクス制約の重要性が確認された。
• 12次元の埋め込み（CDVAE12）を用いたCDVAEが、誤差と分散の両面で最良のトレードオフを達成し、CVAEおよびベースラインのGANと比較してすべての指標で優れた性能を示した。
• モデルは入力の摂動に対しても頑健であり、出力の多様性を安定的に維持する。一方、コードが崩壊したモデルは、入力の微小な変化に対し不安定または同一の出力を生成する。