[논문 리뷰] Testing Relational Understanding in Text-Guided Image Generation

Colin Conwell, Tomer Ullman|arXiv (Cornell University)|2022. 07. 29.

Explainable Artificial Intelligence (XAI)인용 수 39

한 줄 요약

이 논문은 15개의 기본 관계를 대상으로 DALL-E 2를 체계적으로 검사하고, 169명의 인간 판단을 사용하며, 프롬프트와의 평균 일치도가 약 22%에 불과하다고 밝혀 관계 이해가 제한적임을 시사한다.

ABSTRACT

Relations are basic building blocks of human cognition. Classic and recent work suggests that many relations are early developing, and quickly perceived. Machine models that aspire to human-level perception and reasoning should reflect the ability to recognize and reason generatively about relations. We report a systematic empirical examination of a recent text-guided image generation model (DALL-E 2), using a set of 15 basic physical and social relations studied or proposed in the literature, and judgements from human participants (N = 169). Overall, we find that only ~22% of images matched basic relation prompts. Based on a quantitative examination of people's judgments, we suggest that current image generation models do not yet have a grasp of even basic relations involving simple objects and agents. We examine reasons for model successes and failures, and suggest possible improvements based on computations observed in biological intelligence.

연구 동기 및 목표

• 현대의 텍스트 가이드 이미지 생성기가 묘사된 장면에 간단한 관계를 얼마나 잘 결합하는지 평가한다.
• 여러 기본 물리적 및 의도적 관계에 걸친 기계가 생성한 이미지에 대한 인간의 일치를 정량화한다.
• 프롬프트와 이미지 간 정렬에 영향을 미치는 요인(예: 관계 유형, CLIP 유사도)을 식별한다.
• AI 모델의 관계적 구성을 강화하기 위한 잠재적 아키텍처적 및 학습 기반 개선사항을 논의한다.

제안 방법

• 8개의 물리적 관계와 7개의 의도적 관계를 포함하는 15-관계 자극 세트를 설계한다.
• 프롬프트당 18장의 이미지를 DALL-E 2로 생성하고 총 1350장의 이미지를 수집한다.
• 169명의 참가자가 각 이미지가 주어진 문장 프롬프트와 일치하는지 판단하게 한다.
• 프롬프트별 및 이미지별 평균 일치를 계산하고 물리적 관계와 의도적 관계 간의 차이를 분석한다.
• CLIP 유사도 점수와 인간 일치도 간의 관계를 검토한다.
• 무작위 효과를 고려한 채 베이지안 다층 모델을 적용해 관계 유형과 CLIP 점수의 효과를 평가한다.

실험 결과

연구 질문

• RQ1 DALL-E 2가 생성한 이미지는 물리적 및 의도적 프롬프트에 걸친 기본 관계에 대해 인간 판단과 일치합니까?
• RQ2 관계 유형(물리적 대 의도적)이 이미지와 프롬프트 간의 일치에 어떤 영향을 미치나?
• RQ3 CLIP 기반 이미지-프롬프트 유사도와 일치에 대한 인간 동의 간의 관계는 무엇입니까?
• RQ4 간단한 관계 프롬프트가 얼마나 신뢰성 있게 묘사될 수 있으며, 성공을 조정하는 요인은 무엇입니까?

주요 결과

• 75개 프롬프트에 대한 평균 인간 일치는 22.2%이며(95% CI 18.3–26.6).
• 의도적 프롬프트가 더 높은 일치를 보인다(28.4%, 95% CI 22.8–34.2) 물리적 프롬프트(16.9%, 95% CI 11.9–23.0)보다.
• Holm 보정 검정에서 15개 관계 모두 0%를 초과하는 일치를 보였으나, 평균 25%를 넘는 관계는 3개에 불과하다(접촉, 돕기, 차기).
• 어떤 관계도 다중 비교 보정 없이도 평균 일치가 50%를 넘지 못한다.
• CLIP 유사도는 인간 일치도와 보통의 상관관계를 보이며(스피어만 상관계수 0.39, p = 5.5e-4).
• 베이지안 혼합효과 모델은 매치 확률에 대해 관계 유형과 CLIP 점수의 효과가 작에서 중간 정도로 유의하다고 나타냈다.