[논문 리뷰] Visual Conceptual Blending with Large-scale Language and Vision Models

Songwei Ge, Devi Parikh|arXiv (Cornell University)|2021. 06. 27.

Multimodal Machine Learning Applications참고 문헌 32인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델과 시각 모델을 활용하여 창의적인 시각적 개념 블렌딩을 생성하는 프레임워크를 제안한다. 먼저 프롬프트 엔지니어링을 적용한 언어 모델을 사용해 관련 객체와 블렌딩 성질을 추론하고, 이후 텍스트-이미지 확산 모델을 통해 이미지를 생성한다. 결과적으로 대규모 언어 모델이 지식 기반 시스템보다 개념 연관성에서 뛰어난 성능을 보이며, 확산 기반 이미지 생성 모델이 GAN보다 시각적 품질과 블렌딩의 정확도에서 뚜렷한 우월성을 보였다.

ABSTRACT

We ask the question: to what extent can recent large-scale language and image generation models blend visual concepts? Given an arbitrary object, we identify a relevant object and generate a single-sentence description of the blend of the two using a language model. We then generate a visual depiction of the blend using a text-based image generation model. Quantitative and qualitative evaluations demonstrate the superiority of language models over classical methods for conceptual blending, and of recent large-scale image generation models over prior models for the visual depiction.

연구 동기 및 목표

• 대규모 언어 모델과 시각 모델이 두 개의 다른 객체를 새로운, 일관된 개념적 블렌딩으로 조합하는 데 효과적으로 기여할 수 있는지 조사하는 것.
• 기존 지식 기반 시스템에 비해 현대적 대규모 언어 모델이 블렌딩에 적합한 개념적 성질을 식별하는 데서 더 뛰어나다는 것을 평가하는 것.
• 최근 텍스트-이미지 확산 모델과 이전의 GAN 기반 접근법 간의 시각적 품질과 개념적 일관성의 차이를 비교하는 것.
• 언어 모델을 사용해 추론하고, 확산 모델을 사용해 생성하는 파ipeliine을 개발하여 고품질의 창의적 시각적 블렌딩을 생성하는 것.

제안 방법

• 프레임워크는 시각적 개념 블렌딩을 추론 단계와 생성 단계로 분해한다.
• 추론 단계에서는 프롬프트 엔지니어링을 적용한 언어 모델(예: BERT, GPT)을 사용해 주어진 입력 객체(예: '달')에 대해 관련 객체와 블렌딩 성질(예: '슬라이스된')을 예측한다.
• 프롬프트 형식은 마스킹 언어 모델링 작업으로, 예를 들어 '저예산 영화는 [MASK]'와 같이 관련 성질을 유도한다.
• 생성 단계에서는 결과적으로 생성된 문장 기반 기술(예: '달이 오렌지처럼 슬라이스된')을 텍스트-이미지 확산 모델(예: BigSleep, DeepDaze, DF-GAN)에 입력하여 시각적 묘사를 생성한다.
• 모델 간의 이미지 품질, 입력 객체 식별도, 개념 블렌딩의 일관성 정도를 비교하기 위해 아마존 메카니컬 터크를 통한 인간 평가를 실시한다.
• 66,442개의 성질-객체 쌍을 포함하는 은유 데이터셋을 구축하여 언어 모델 성능을 정량적으로 평가하고, ConceptNet과 비교한다.

실험 결과

연구 질문

• RQ1 대규모 언어 모델이 두 객체를 블렌딩하기 위한 관련 개념적 성질을 식별하는 데서 전통적인 지식 기반 시스템을 초월할 수 있는가?
• RQ2 최근의 텍스트-이미지 확산 모델이 이전의 GAN 기반 모델에 비해 얼마나 더 일관되고 미적으로 매력적인 시각적 블렌딩을 생성하는가?
• RQ3 생성된 이미지가 원본 입력 객체의 정체성을 유지하면서도 블렌딩 개념을 효과적으로 통합하는가?
• RQ4 대규모 언어 모델과 확산 모델의 조합이 인간의 창의성 인식과 일치하는 시각적이고 의미적인 개념적 블렌딩을 생성할 수 있는가?
• RQ5 프롬프트 엔지니어링과 모델 규모가 개념 블렌딩 품질 향상에 어떤 역할을 하는가?

주요 결과

• GPT와 같은 대규모 언어 모델은 블렌딩에 적합한 성질을 예측하는 데 있어 P@1000 정밀도 66.38%를 기록하며, ConceptNet의 5.90%에 비해 뚜렷한 우월성을 보였다.
• 언어 모델 간 비교에서 GPT가 가장 높은 성능을 보였고, BERT-base와 BERT-large 이 순서로 이어졌으며, 이는 모델 규모가 개념 추론 능력을 향상시킨다는 것을 시사한다.
• CLIP 기반 확산 모델(BigSleep와 DeepDaze)은 DF-GAN에 비해 모든 인간 평가 지표에서 유의미하게 선호되었으며, 객체 식별도, 블렌딩 품질, 미적 매력도에서 뛰어났다.
• BigSleep가 DeepDaze보다 선호된 것은 BigGAN이 학습한 사전 지식가 SIREN 기반 모델보다 개념 블렌딩에 더 나은 이미지 생성 성능을 제공한다는 것을 시사한다.
• 인간 평가 결과, 모든 여섯 가지 질문에 대해 확산 모델이 통계적으로 유의미한 선호도(p < 0.05)를 보였으며, 이는 시각적 개념 블렌딩에서의 우월성을 확인한다.
• 프레임워크는 '파란 빨간 혈관으로 이루어진 나무'나 '오렌지처럼 슬라이스된 달'과 같은 새로운, 일관되며 창의적인 시각적 블렌딩을 성공적으로 생성하여 실용적 창의성 잠재력을 입증했다.