[論文レビュー] Visual Conceptual Blending with Large-scale Language and Vision Models

Songwei Ge, Devi Parikh|arXiv (Cornell University)|Jun 27, 2021

Multimodal Machine Learning Applications参考文献 32被引用数 4

ひとこと要約

本稿では、大規模言語モデルと視覚モデルを活用して、最初にプロンプト設計を施した言語モデルを用いて関連する対象物やブレンド特性について推論し、次にテキストから画像への拡散モデルを用いて画像を生成することで、創造的な視覚的概念的ブレンドを生成するフレームワークを提案する。結果から、大規模言語モデルは知識ベースを上回る概念的関連性を示し、拡散ベースの画像生成モデルはGANに比べて視覚的品質とブレンドの忠実度において顕著に優れていることが明らかになった。

ABSTRACT

We ask the question: to what extent can recent large-scale language and image generation models blend visual concepts? Given an arbitrary object, we identify a relevant object and generate a single-sentence description of the blend of the two using a language model. We then generate a visual depiction of the blend using a text-based image generation model. Quantitative and qualitative evaluations demonstrate the superiority of language models over classical methods for conceptual blending, and of recent large-scale image generation models over prior models for the visual depiction.

研究の動機と目的

• 大規模言語および視覚モデルが、2つの異なる対象物を組み合わせて新たな一貫性のある概念的ブレンドを効果的に行えるかどうかを調査すること。
• 古典的な知識ベースと比較して、現代の大規模言語モデルがブレンドのための関連する概念的特性を特定する上で優れているかどうかを評価すること。
• 最近のテキストから画像への拡散モデルと古いGANベースのアプローチを比較し、生成画像の視覚的品質と概念的忠実度を評価すること。
• 言語モデルによる推論と拡散モデルによる生成を統合したパイプラインを開発し、高品質で創造的な視覚的ブレンドを生成すること。

提案手法

• フレームワークは視覚的概念的ブレンドを2段階に分解する：推論段階と生成段階。
• 推論段階では、プロンプト設計を施した言語モデル（例：BERT、GPT）を用いて、入力対象物（例：「月」）に対して関連する対象物とブレンド特性（例：「スライスされた」）を予測する。
• プロンプト形式はマスク言語モデルタスクであり、例えば「予算の低い映画は[MASK]」のように、関連する特性を引き出す。
• 生成段階では、得られたテキスト記述（例：「月がオレンジのようにスライスされたもの」）をテキストから画像への拡散モデル（例：BigSleep、DeepDaze、DF-GAN）の入力として用い、視覚的描写を生成する。
• アマゾンMechanical Turkを用いた人間評価を通じて、画像品質、入力対象物の認識、概念的ブレンドの忠実度を、各モデル間で比較する。
• 言語モデルのパフォーマンスを定量的に評価するため、66,442組の特性-対象物ペアを含む隠喩データセットを構築し、ConceptNetと比較する。

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルは、2つの対象物をブレンドするための関連する概念的特性を特定する面で、従来の知識ベースを上回ることができるか？
• RQ2 最近のテキストから画像への拡散モデルは、旧来的なGANベースのモデルと比較して、どれほど一貫性があり、美的に魅力的な視覚的ブレンドを生成できるか？
• RQ3 生成された画像は、元の入力対象物のアイデンティティをどれほど保持しながら、ブレンド概念を統合しているか？
• RQ4 大規模言語モデルと拡散モデルの組み合わせは、人間の創造性の認識に一致する視覚的および意味的な意味のある概念的ブレンドを生成できるか？
• RQ5 プロンプト設計とモデルスケーリングは、概念的ブレンドの品質を向上させる上で、どのような役割を果たすか？

主な発見

• GPTなどの大規模言語モデルは、ブレンドのための関連する特性を予測する際、P@1000精度で66.38%を達成し、ConceptNetの5.90%を著しく上回った。
• 言語モデルの比較では、GPTが最も高いパフォーマンスを示し、次いでBERT-baseとBERT-largeの順に優れていることから、モデルスケールが概念的推論を向上させることを示している。
• CLIPベースの拡散モデル（BigSleepとDeepDaze）は、DF-GANに比べて、すべての人間評価指標（対象物認識、ブレンド品質、美的魅力）で顕著に好まれた。
• BigSleepはDeepDazeよりも好まれており、BigGANが学習した事前特徴がSIRENベースのモデルよりも、概念的ブレンドのための画像生成に優れていることを示唆している。
• 人間評価の結果、すべての6つの質問についてp < 0.05の有意差が確認され、拡散モデルの視覚的概念的ブレンドにおける優位性が裏付けられた。
• 本フレームワークは、「青と赤の静脈でできた木」や「オレンジのようにスライスされた月」といった、新規で一貫性があり創造的な視覚的ブレンドを効果的に生成でき、実用的な創造的潜在能力を示している。