[論文レビュー] Synthesizing Coherent Story with Auto-Regressive Latent Diffusion Models

Xichen Pan, Pengda Qin+3 more|arXiv (Cornell University)|Nov 20, 2022

Generative Adversarial Networks and Image Synthesis被引用数 12

ひとこと要約

本稿では、テキストのキャプションと以前に生成された画像を条件として用いる自己回帰的潜在拡散モデルAR-LDMを提案する。このモデルは、物語の可視化および継続タスクにおいて最先端の性能を達成し、現実世界の物語合成を目的としたVISTデータセットを導入し、未確認の登場人物への一般化を可能にする。これにより、先行手法に比べて一貫性と品質が顕著に向上する。

ABSTRACT

Conditioned diffusion models have demonstrated state-of-the-art text-to-image synthesis capacity. Recently, most works focus on synthesizing independent images; While for real-world applications, it is common and necessary to generate a series of coherent images for story-stelling. In this work, we mainly focus on story visualization and continuation tasks and propose AR-LDM, a latent diffusion model auto-regressively conditioned on history captions and generated images. Moreover, AR-LDM can generalize to new characters through adaptation. To our best knowledge, this is the first work successfully leveraging diffusion models for coherent visual story synthesizing. Quantitative results show that AR-LDM achieves SoTA FID scores on PororoSV, FlintstonesSV, and the newly introduced challenging dataset VIST containing natural images. Large-scale human evaluations show that AR-LDM has superior performance in terms of quality, relevance, and consistency.

研究の動機と目的

• 複文からなる物語から一貫性のある視覚的物語を生成するという課題に取り組むこと。これは、拡散モデル分野においてまだ十分に検討されていない。
• テキスト的文脈と以前に生成された画像を併用することで、物語の各フレーム間の画像生成の一貫性を向上させること。
• 参照画像とテキストペアを微調整することで、未確認の登場人物（例：代名詞）への一般化を可能にする簡単な適応手法を導入すること。
• 自然画像に基づく物語シーケンスを含む新しいデータセットVISTを用いて、現実世界の物語合成を評価すること。
• 大規模な人間による評価を通じて、視覚的品質、関連性、一貫性の面で優れた性能を示すことを目的とする。

提案手法

• AR-LDMは、テキスト処理にCLIP、マルチモーダルな画像・テキスト理解にBLIPを用いた履歴に配慮したエンコーディングモジュールを採用する。
• モデルは自己回帰的生成戦略を採用し、各フレームが現在のキャプションおよび以前に生成された画像とキャプションの履歴を条件として生成される。
• 高精細で多様性に富み、一貫性のある画像を生成するために、画像の潜在空間上で訓練された潜在拡散フレームワークを活用する。
• 未確認の登場人物のアイデンティティの一貫性を保つために、参照画像・テキストペアを用いた微調整を導入する新しい適応手法を提案する。
• モデルは物語シーケンス全体をエンドツーエンドで訓練し、現在のキャプションと歴史的視覚的・テキスト的文脈の両方に注目するクロスアテンション機構を備える。
• ソースフレームや初期キャプションシーケンスを条件として用いることで、物語の可視化および継続タスクの両方をサポートするアーキテクチャを実現する。

実験結果

リサーチクエスチョン

• RQ1 拡散モデルは、孤立した画像ではなく、複数のフレームにわたる一貫性のある視覚的物語を効果的に生成するために適応可能か？
• RQ2 複文からなる物語から生成された画像の系列において、視覚的一致性と関連性をどのように維持できるか？
• RQ3 明示的な教師信号なしで、モデルは代名詞で示されるような未確認の登場人物に一般化可能か？
• RQ4 本手法は、GANベースおよび自己回帰的ベースの先行手法と比較して、画像品質、関連性、一貫性の面で優れているか？
• RQ5 自然画像とシーケンスベースのキャプションを含む新しいデータセットは、現実世界の物語合成能力をより良い評価可能にするか？

主な発見

• AR-LDMは、PororoSVデータセットにおいてFIDスコア16.59を達成し、以前の物語可視化手法に比べて相対的に70%の改善を示した。
• FlintstonesSVおよびVISTを含むすべての評価データセットにおいて、AR-LDMは物語継続性能で約20%の相対的改善を示した。
• 大規模な人間による評価では、AR-LDMが視覚的品質、関連性、一貫性のすべての面で先行手法を上回ることを確認した。人間のアノテーターは、すべての基準においてAR-LDMの出力を好む傾向を示した。
• 適応手法により、未確認の登場人物への一般化が成功し、曖昧な代名詞や記述による一貫性の欠如を顕著に低減した。
• VISTデータセットの導入により、より現実的な物語合成の評価が可能となり、AR-LDMは自然画像コンテンツを含むこのベンチマークで優れた性能を示した。
• 失敗事例では、注意機構が関係のない文間で意味的コンテンツを混合することがあり、今後の研究でテキスト符号化の改善が求められることが示唆された。