[論文レビュー] ArtGAN: Artwork Synthesis with Conditional Categorical GANs

Wei Tan, Chee Seng Chan+2 more|arXiv (Cornell University)|Feb 11, 2017

Generative Adversarial Networks and Image Synthesis参考文献 11被引用数 17

ひとこと要約

ArtGANは、生成器にラベルフィードバックを逆伝播させる条件付きカテゴリカル GAN フレームワークを導入し、複雑で抽象的な芸術的画像および明確な構造を持つ自然画像の合成を改善する。訓練中にラベル監視を組み込むことで、ArtGAN は CIFAR-10 およびリアルな芸術的スタイル変換において、品質の点で DCGAN や GAN/VAE を上回り、定性的および定量的評価の両方で優れた画像品質を達成した。

ABSTRACT

This paper proposes an extension to the Generative Adversarial Networks (GANs), namely as ARTGAN to synthetically generate more challenging and complex images such as artwork that have abstract characteristics. This is in contrast to most of the current solutions that focused on generating natural images such as room interiors, birds, flowers and faces. The key innovation of our work is to allow back-propagation of the loss function w.r.t. the labels (randomly assigned to each generated images) to the generator from the discriminator. With the feedback from the label information, the generator is able to learn faster and achieve better generated image quality. Empirically, we show that the proposed ARTGAN is capable to create realistic artwork, as well as generate compelling real world images that globally look natural with clear shape on CIFAR-10.

研究の動機と目的

• 既存の GAN が前景/背景が不明瞭で構造のない非図像的抽象芸術を生成する能力に制限を示していることに対処する。
• 訓練中に識別器から生成器へのラベル情報の逆伝播を可能にすることで、画像生成品質を向上させる。
• 条件付き GAN を拡張し、芸術的スタイルやジャンルのより良い分離を可能にする形でカテゴリカルラベル監視を統合する。
• ラベルフィードバックが生成器の学習を向上させ、特に挑戦的な芸術的分野においてより現実的で構造的整合性のある画像を生成することを示す。
• CIFAR-10 などの標準ベンチマークと芸術的データセットの両方で評価することで、モデルの一般化能力を検証する。

提案手法

• ArtGAN は、生成器と識別器の両方にラベル入力 $\hat{\mathbf{y}}$ を追加することで、標準 GAN を拡張し、生成器へのラベルベース損失勾配の逆伝播という主な革新を実現する。
• 識別器はソフトマックスではなくシグモイド活性化関数を用いて $K+1$ クラスの確率分布を出力し、マルチクラスまたはオープンセット分類を可能にする。
• 生成器のエンコーダからデコーダへの残差接続を追加することで、L2 ピxls単位の再構成損失をサポートし、画像の忠実度を向上させる。
• Larsen 他によるインスピレーションを受けて、 adversarial 損失と L2 再構成損失を組み合わせることで、訓練の安定化と視覚的品質の向上を図る。
• 生成画像の内容（例：アーティスト、ジャンル、スタイル）に基づいてラベルを割り当て、それらのラベルを識別器のフィードバックを生成器に導くために使用する。
• 柔軟なラベル表現とシグモイド出力のおかげで、モデルはマルチラベルおよびオープンセット認識タスクに一般化可能である。

実験結果

リサーチクエスチョン

• RQ1 生成器にラベルフィードバックを逆伝播させる GAN アーキテクチャは、標準 GAN よりも高品質で現実的な芸術的画像を生成できるか？
• RQ2 カテゴリカルラベル監視を組み込むことで、生成画像における芸術的スタイルやジャンルの分離が向上するか？
• RQ3 抽象芸術で訓練された ArtGAN でさえ、CIFAR-10 のような標準ベンチマークで、はっきりとした物体構造と少ないアーチファクトを持つ画像を生成できるか？
• RQ4 adversarial 損失に加えて L2 再構成損失を組み込むと、生成画像の視覚的品質にどのような影響を与えるか？
• RQ5 最近傍比較による測定で、モデルが訓練データを単に記憶していない程度はどの程度か？

主な発見

• Parzen-window 評価を用いた結果、ArtGAN は CIFAR-10 で 2564 ± 67 の最高対数尤度スコアを達成し、DCGAN（2348 ± 67）や GAN/VAE（2483 ± 67）を上回った。
• 定性的な結果から、ArtGAN は特にビンセント・ヴァン・ゴッホ や グスターヴ・ドールー のような特定のアーティストを模倣する際、自然で説得力のある芸術的画像を生成しており、正確な色調とスタイルの一貫性を示している。
• モデルは浮世絵の木版画のイエローシェイドのトーンや、ヴァン・ゴッホの初期作品のモノクロームスケッチといったスタイル的特徴を的確に捉えている。
• CIFAR-10 では、ArtGAN が生成する画像は、車や馬といった物体の形状が明確で、DCGAN が生成するようなぼやけた不規則な出力よりも優れている。
• 最近傍比較（図 5）から、ArtGAN は訓練画像を単純に記憶しているわけではないことが確認され、生成されたサンプルは訓練例のいずれとも正確に一致しない。
• ラベルフィードバックの使用は、アーチファクトの低減と芸術的画像および自然画像における構造的整合性の向上を通じて、生成器の学習を顕著に改善していることが裏付けられている。