[논문 리뷰] Is the Elephant Flying? Resolving Ambiguities in Text-to-Image Generative Models

Ninareh Mehrabi, Palash Goyal외 8명|arXiv (Cornell University)|2022. 11. 17.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

이 논문은 언어 모델을 활용해 모호한 프롬프트에 대한 명확화 질문이나 다른 시각적 설정을 생성함으로써 텍스트-이미지 생성 모델의 모호성 문제를 해결하는 프레임워크를 제안한다. 인간 피드백을 통해 해결된 질문들은 생성된 이미지가 사용자 의도와 일치하도록 유도하며, 이는 새로운 벤치마크 데이터셋과 다양한 평가 지표를 통해 검증되었다. 인간 평가에서 이미지의 충실도는 최대 90%까지 향상되었으며, 이는 사용자 의도와의 일치를 높이는 데 기여한다.

ABSTRACT

Natural language often contains ambiguities that can lead to misinterpretation and miscommunication. While humans can handle ambiguities effectively by asking clarifying questions and/or relying on contextual cues and common-sense knowledge, resolving ambiguities can be notoriously hard for machines. In this work, we study ambiguities that arise in text-to-image generative models. We curate a benchmark dataset covering different types of ambiguities that occur in these systems. We then propose a framework to mitigate ambiguities in the prompts given to the systems by soliciting clarifications from the user. Through automatic and human evaluations, we show the effectiveness of our framework in generating more faithful images aligned with human intention in the presence of ambiguities.

연구 동기 및 목표

• 텍스트-이미지 생성에서 모호한 프롬프트가 생성된 이미지에 대한 부정확하거나 편향된 결과를 초래하는 문제를 해결하기 위해.
• 언어 모델을 활용해 명확화 질문이나 시각적 설정을 생성하고 인간-AI 상호작용을 통해 모호성을 해결하는 프레임워크를 개발하기 위해.
• 문자어 구조, 의미적, 부족한 특정화와 관련된 모호성에 대해 다루는 새로운 벤치마크 데이터셋(텍스트-이미지 모호성 벤치마크, TAB)을 구축하기 위해.
• 모호성 하에서 이미지 생성의 충실도를 측정하기 위한 자동 평가 및 인간 평가 절차를 제안하고 검증하기 위해.
• 여러 텍스트-이미지 모델을 대상으로 명확화 기법이 사용자 의도와 생성된 이미지 간의 일치도를 향상시키는 데 효과적인지 입증하기 위해.

제안 방법

• TAB 벤치마크에서의 모호한 프롬프트를 탐지하기 위해 언어 모델 기반의 명확화 필터를 텍스트-이미지 모델 이전에 적용한다.
• 이 필터는 인간 피드백을 받기 위한 하나 이상의 명확화 질문을 생성하거나, 인간 선택을 위한 여러 후보 시각적 설정을 생성한다.
• 인간 작업자가 질문에 대한 답변을 제공하거나 올바른 시각적 설정을 선택하며, 이는 이미지 생성 이전에 프롬프트를 보완하는 데 사용된다.
• 생성된 이미지에 대해 질문을 던지고 참값으로 제공된 인간의 답변과 비교함으로써 충실도를 측정하기 위해 VQA 기반의 자동 평가를 사용한다.
• 이 프레임워크는 DALL-E Mega와 OpenAI의 DALL-E를 대상으로 자동 평가(VQA)와 인간 평가(아마존 메카니컬 터크를 통한)를 모두 활용해 평가되었다.
• 벤치마크 데이터셋에는 150개의 모호한 프롬프트와 다수의 해석이 가능하며, 400개의 이미지에 대해 총 1200명의 인간 평가자가 참여해 애너테이션을 수행했다.

실험 결과

연구 질문

• RQ1 문자어 구조, 의미, 특정화 부족 등의 다양한 유형의 모호성이 텍스트-이미지 생성의 충실도에 어떤 영향을 미치는가?
• RQ2 언어 모델 기반의 명확화 필터가 인간 피드백을 통해 모호한 프롬프트를 해결함으로써 이미지의 충실도를 향상시킬 수 있는가?
• RQ3 자동 평가 지표(예: VQA 기반 충실도)가 인간 평가에 비해 인간의 의도와의 일치도를 측정하는 데 얼마나 효과적인가?
• RQ4 인간 선택을 위한 다수의 시각적 설정을 생성하는 것이 단일 명확화 질문을 생성하는 것보다 이미지 충실도 향상에 더 효과적인가?
• RQ5 명확화 기법이 '의사가 간호사와 대화하는'와 같은 장면에서 성별 또는 역할 고정관념과 같은 편향을 얼마나 줄이는가?

주요 결과

• 다수의 시각적 설정을 인간이 선택하는 방식을 사용할 경우 인간 평가에서 최대 90%의 충실도를 달성했으며, 이는 기존의 모호한 프롬프트 기반 기준 대비 뚜렷한 향상이다.
• VQA 기반 자동 평가에서는 다양한 설정 간 일관된 충실도 점수가 나타났으며, 언어 모델이 인간 선택을 위한 다수의 시각적 설정을 생성할 경우 가장 높은 성능(85–90%)을 기록했다.
• VQA 기반 자동 평가 지표는 인간 평가 결과와 강한 상관관계를 보였으며, 이는 충실도 평가의 확장 가능한 대체 수단으로서의 유효성을 입증한다.
• 벤치마크에서의 참값 질문 대신 GPT-neo가 생성한 질문을 사용한 경우에도 DALL-E Mega는 높은 충실도(80% 이상)를 유지했으며, 이는 명확화 파이프라인의 강건성을 보여준다.
• 그림 15의 정성적 결과는 명확화된 프롬프트가 모호한 프롬프트보다 의도한 시각적 해석과 훨씬 더 잘 일치하는 이미지를 생성한다는 점을 보여준다.
• 연구 결과, 프롬프트의 특정화 부족(예: 성별, 역할 등)이 편향된 이미지 생성을 유도하는 것으로 나타났으며, 이는 명확화 프레임워크에 의해 효과적으로 완화됨을 확인했다.