[논문 리뷰] A very preliminary analysis of DALL-E 2

Gary Marcus, Ernest Davis외 1명|arXiv (Cornell University)|2022. 04. 25.

Handwritten Text Recognition Techniques인용 수 88

한 줄 요약

본 논문은 fourteen challenging prompts를 사용한 DALL-E 2의 아주 초기 평가를 보고하며, 적어도 하나의 이미지가 five prompts에 대한 요청을 충족했지만, 어떤 프롬프트도 열 개의 이미지를 모두 충족시키지 못했다.

ABSTRACT

The DALL-E 2 system generates original synthetic images corresponding to an input text as caption. We report here on the outcome of fourteen tests of this system designed to assess its common sense, reasoning and ability to understand complex texts. All of our prompts were intentionally much more challenging than the typical ones that have been showcased in recent weeks. Nevertheless, for 5 out of the 14 prompts, at least one of the ten images fully satisfied our requests. On the other hand, on no prompt did all of the ten images satisfy our requests.

연구 동기 및 목표

• 상식 및 추론을 요구하는 프롬프트를 DALL-E 2가 처리하는 능력을 평가한다.
• 일반적인 시연 프롬프트를 넘어서는 복잡한 텍스트 프롬프트에 대한 이해를 테스트한다.
• 도전적인 작업에서 DALL-E 2의 성능을 예비적이고 정량적으로 파악한다.

제안 방법

• 일반적인 시연보다 훨씬 더 도전적인 fourteen prompts를 설계한다.
• 프롬프트당 열 개의 이미지를 생성하여 일관성과 만족도를 평가한다.
• 생성된 이미지가 각 프롬프트의 구체적 요구를 충족하는지 평가한다.

실험 결과

연구 질문

• RQ1 DALL-E 2가 상식과 추론을 테스트하는 프롬프트를 신뢰할 수 있게 충족시킬 수 있는가?
• RQ2 프롬프트당 여러 이미지에 걸쳐 DALL-E 2가 복잡한 텍스트 요구를 어느 정도 이해하고 실행하는가?

주요 결과

• Out of fourteen prompts, at least one image satisfied the request for five prompts.
• For none of the prompts did all ten images satisfy the request.
• The prompts used were deliberately more challenging than those showcased publicly.
• The study provides a very early, limited view of DALL-E 2's capabilities.