[論文レビュー] Controlling Structured Output Representations from Attributes using Conditional Generative Models

Mohamed Debbagh|arXiv (Cornell University)|Apr 30, 2023

Generative Adversarial Networks and Image Synthesis被引用数 5

ひとこと要約

本稿では、属性入力を用いた制御された画像生成のための条件付き変分オートエンコーダー（CVAE）フレームワークを提案する。離散化された潜在表現を活用することで、多様で構造的な出力を得る。1-of-K符号化された属性に条件づけ、重み付き変分下界を最適化することで、特に正則化係数β = 0.9のとき、サンプル品質と離散化の両方が向上するが、スパースなデータセットでは高周波成分の捉えこぼれの課題が残存する。

ABSTRACT

Structured output representation is a generative task explored in computer vision that often times requires the mapping of low dimensional features to high dimensional structured outputs. Losses in complex spatial information in deterministic approaches such as Convolutional Neural Networks (CNN) lead to uncertainties and ambiguous structures within a single output representation. A probabilistic approach through deep Conditional Generative Models (CGM) is presented by Sohn et al. in which a particular model known as the Conditional Variational Auto-encoder (CVAE) is introduced and explored. While the original paper focuses on the task of image segmentation, this paper adopts the CVAE framework for the task of controlled output representation through attributes. This approach allows us to learn a disentangled multimodal prior distribution, resulting in more controlled and robust approach to sample generation. In this work we recreate the CVAE architecture and train it on images conditioned on various attributes obtained from two image datasets; the Large-scale CelebFaces Attributes (CelebA) dataset and the Caltech-UCSD Birds (CUB-200-2011) dataset. We attempt to generate new faces with distinct attributes such as hair color and glasses, as well as different bird species samples with various attributes. We further introduce strategies for improving generalized sample generation by applying a weighted term to the variational lower bound.

研究の動機と目的

• 入力画像ではなく属性入力からの制御的で、離散化された画像生成を可能にする条件付き生成モデルの開発。
• 畳み込みニューラルネットワーク（CNN）のような決定論的モデルの曖昧さとぼやけ具合を解消するため、深層条件付き生成モデルを用いた確率的アプローチの導入。
• 変分下界における再構築と正則化のトレードオフを調整することで、画像生成における一般化性能の向上。
• 異なる訓練条件下での2つの多様なデータセット（CelebA：40の属性を持つ顔画像、CUB-200-2011：200種の鳥類とその属性）におけるモデル性能の評価。
• β重み付き損失項が生成画像の品質、離散化、構造的整合性に与える影響の調査。

提案手法

• モデルは、潜在空間の事前分布を1-of-K符号化された属性ベクトルに条件づける条件付き変分オートエンコーダー（CVAE）アーキテクチャを採用する。
• 認識モデルは、入力画像とその対応する属性を入力として、潜在コードの事後分布を推論するように学習される。
• 重み付き変分下界が用いられ、正則化項（KLダイバージェンス）がハイパーパramータβでスケーリングされ、再構築精度と潜在空間の正則化のバランスがとられる。
• 生成ネットワークは、サンプリングされた潜在コードと属性条件を組み合わせて、高次元で構造的な画像出力を生成する。
• モデルは2つのデータセット（CelebA：40の顔の属性、CUB-200-2011：200種の鳥類とその記述的属性）で訓練され、教師あり属性ラベルが使用される。
• 訓練は、再構築とKL損失にβ重みをかけた尤度下界（ELBO）の最適化を含み、離散化され多様な生成を促進する。

実験結果

リサーチクエスチョン

• RQ1 入力画像ではなく属性ベクトルにCVAEを条件づけることで、生成画像の品質と制御性にどのような影響を与えるか？
• RQ2 変分下界におけるβハイパーパramータを変化させた場合、再構築精度とサンプル多様性にどのような影響があるか？
• RQ3 CVAEフレームワークは、異なるデータセットにおいて、同じ属性条件に対して離散化され意味的に明確な画像変化を生成できるか？
• RQ4 高周波成分や構造的明瞭度は、特に低データ環境下でβ値の変化に応じてどのように変化するか？
• RQ5 モデルは、学習データに完全に表現されていない未観測の属性組み合わせやレアな属性組み合わせに対しても、どの程度一般化できるか？

主な発見

• β = 0.9で訓練したモデルが、最高のサンプル品質と構造的明瞭度を達成し、わずかに高い再構築誤差であっても、より滑らかで現実的でアーチファクトの少ない画像を生成した。
• β = 0.25では、CelebAで70,444の平均二乗誤差を記録し、再構築性能が最も高かったが、生成段階では現実的でなくぼやけた曖昧なサンプルが生成された。
• CVAEはCelebAで、髪の色、眼鏡、顔の表情の変化を含む、属性に一致する多様で制御可能な顔画像を生成できた。
• CUB-200-2011データセットでは、鳥類の一般的な色と構造的属性を捉えていたが、特にβが低い値のとき、高周波成分の詳細は不十分であった。
• βの増加により、訓練データの構造への過学習が軽減され、より正則化された潜在空間が得られ、多様なサンプリングを支援した。
• 定性的な結果から、β値が高いほど自然で構造的に整合性のあるサンプルが得られ、画像生成の主な目的は正確な再構築ではなく正則化であることが確認された。