[論文レビュー] Creative Painting with Latent Diffusion Models

Xianchao Wu|arXiv (Cornell University)|Sep 29, 2022

Generative Adversarial Networks and Image Synthesis被引用数 9

ひとこと要約

本論文は、81,444点の芸術作品を含むWikiArtデータセットを用いた微調整と、Wikipediaからの豊富な文脈的情報を用いたテキストプロンプトの拡張により、潜在拡散モデル（LDMs）の創造的絵画生成能力を向上させている。このアプローチにより、複雑な現代的なテーマに対して、多様でアーティスト特有のスタイルの絵画を条件付きで生成可能となり、ベースラインモデルに比べて芸術的表現力と創造性が著しく向上する。

ABSTRACT

Artistic painting has achieved significant progress during recent years. Using an autoencoder to connect the original images with compressed latent spaces and a cross attention enhanced U-Net as the backbone of diffusion, latent diffusion models (LDMs) have achieved stable and high fertility image generation. In this paper, we focus on enhancing the creative painting ability of current LDMs in two directions, textual condition extension and model retraining with Wikiart dataset. Through textual condition extension, users' input prompts are expanded with rich contextual knowledge for deeper understanding and explaining the prompts. Wikiart dataset contains 80K famous artworks drawn during recent 400 years by more than 1,000 famous artists in rich styles and genres. Through the retraining, we are able to ask these artists to draw novel and creative painting on modern topics. Direct comparisons with the original model show that the creativity and artistry are enriched.

研究の動機と目的

• 潜在拡散モデル（LDMs）におけるテキストから画像への生成の創造的・芸術的質を向上させること。
• 「中国の都市化」や「アジアの朝」のような抽象的・高レベルのテキストプロンプトに対して、表現的で物語を含む絵画を生成する課題に対処すること。
• ヴァン・ゴッホやモネなどの特定のアーティスト（例：ヴァン・ゴッホ、モネ）を明示的に指定することで、その独自のスタイルで芸術作品を生成できる条件付き画像生成を可能にすること。
• 大規模でキュレートされたアートデータセットを用いてLDMを再訓練することで、芸術的多様性と忠実度が向上する可能性を検証すること。

提案手法

• Wikipediaと大規模言語モデルを用いて、ユーザーが提供するテキストプロンプトを、より豊かで記述的で文脈に根ざしたプロンプトに拡張する。
• 81,444点のアート作品を含むWikiArtデータセットを用いて、潜在拡散モデルを再訓練する。このデータセットには、27のスタイルと45のジャンルにわたる1,119人のアーティストの作品が含まれる。
• U-Netのバックボーンのクロスアテンション層に、アーティストのアイデンティティ、年、スタイル、ジャンルを追加の条件信号として統合する。
• 事前学習済みのオートエンコーダーを用いて、画像を低次元の潜在空間に圧縮し、潜在空間における効率的で高精度な拡散を可能にする。
• 拡張されたテキストプロンプトとアーティスト固有の条件信号の両方に従ってガイドされる逆方向の拡散プロセスを用いて、画像を生成する。
• オートエンコーダーのデコーダーを用いて、生成された潜在表現から高解像度の画像を再構築する。

実験結果

リサーチクエスチョン

• RQ1 抽象的で高レベルのテキストプロンプトに文脈的・物語的詳細を追加することで、生成画像の芸術的・創造的質が向上するか？
• RQ2 WikiArtのような大規模でキュレートされたアートデータセットに事前学習済みLDMを微調整することで、その多様でスタイルに忠実な絵画の生成能力がどの程度向上するか？
• RQ3 アーティストのアイデンティティ、スタイル、ジャンルに明示的な条件を付けることで、異なるプロンプトに対しても一貫性があり、識別可能な芸術的出力が得られるか？
• RQ4 拡張されたプロンプトとアーティスト固有の条件信号は、生成画像の感情的・テーマ的表現力にどのように影響を与えるか？

主な発見

• 抽象的で高レベルのプロンプト（例：「中国の都市化」）に対し、テキスト条件の拡張が顕著に画像品質と表現力を向上させ、物語を含む構成の生成を可能にした。
• WikiArtデータセットへの微調整により、ヴァン・ゴッホの渦巻き模様の空やモネの印象派的水景といった、有名アーティストの独自のスタイルで画像を生成できるようになった。
• 同じプロンプトに対して複数のアーティストが異なる芸術的解釈を生成するが、各アーティストの特徴的な視覚的言語を保持したまま、多様な出力が得られた。
• 「青海＝チベット高原の列車」といったプロンプトでは、拡張されたプロンプトにより、月明かりや伝統的な舟といった象徴的要素を含む、より感情的で詳細な出力が得られた。
• アーティスト固有の条件信号の導入により、Tシャツデザインや広告など産業用途に適した、パーソナライズ可能でカスタマイズ可能な出力が可能になった。
• 視覚的比較により、生成画像がフォトリアリスティックな出力よりも手描きの絵画に近く、強い芸術的スタイル転送が実現していることが示された。