[논문 리뷰] Imagen 3

Imagen-Team-Google, :외 260명|arXiv (Cornell University)|2024. 08. 13.

Radiomics and Machine Learning in Medical ImagingMedicine인용 수 3

한 줄 요약

Imagen 3는 고해상도(1024×1024) 텍스트-이미지 출력을 생성하는 최신 기술 기반의 잠재 확산 모델로, 놀라운 사진적 사실감과 프롬프트 준수 능력을 갖추고 있다. Gemini 모델에서 유도된 합성 캡션을 사용해 필터링된 다양한 데이터셋으로 훈련되었으며, 인간 평가에서 DALL·E 3 및 Stable Diffusion 3와 같은 기존 최고 수준의 모델들을 능가하여 종합 선호도, 시각적 품질, 프롬프트-이미지 일치도 측면에서 가장 높은 엘로 점수를 기록했다.

ABSTRACT

We introduce Imagen 3, a latent diffusion model that generates high quality images from text prompts. We describe our quality and responsibility evaluations. Imagen 3 is preferred over other state-of-the-art (SOTA) models at the time of evaluation. In addition, we discuss issues around safety and representation, as well as methods we used to minimize the potential harm of our models.

연구 동기 및 목표

• 복잡한 자연어 프롬프트에서 고해상도이고 세밀한 이미지를 생성할 수 있는 텍스트-이미지 확산 모델을 개발하는 것.
• 특히 구성 및 스타일적 세부 사항에서 긴 복잡한 프롬프트와 생성된 이미지 콘텐츠 간의 일치도를 향상시키는 것.
• 훈련 과정에서 악성 데이터를 제거하고 편향 및 과적합을 최소화함으로써 안전하고 책임감 있는 생성을 보장하는 것.
• 기존 최고 수준의 모델들과의 엄격한 인간 평가 및 자동 평가를 통해 텍스트-이미지 생성 분야의 새로운 기준을 설정하는 것.
• 다단계 데이터 필터링, 중복 제거, 책임감 있는 데이터 출처 확보 절차를 통해 잠재적 피해를 최소화하는 것.

제안 방법

• 실제 이미지, 원본 캡션, Gemini 모델에서 생성한 합성 캡션을 포함한 대규모 다단계 필터링된 데이터셋을 기반으로 잠재 확산 모델을 훈련하는 것.
• 안전하지 않거나 저품질, AI 생성 이미지를 제거하고 중복 제거 및 가중치 조정을 통해 데이터 중복을 줄이기 위해 다단계 데이터 필터링 파이프라인을 적용하는 것.
• 다양한 지시어를 사용해 여러 Gemini 모델을 활용해 합성 캡션을 생성함으로써 언어 다양성과 품질을 향상시키는 것.
• 측정 기준으로 종합 선호도, 프롬프트-이미지 일치도, 시각적 매력도, 세부 일치도, 수치 추론 능력의 다섯 가지 요소를 고려해, 인근 비교 평가를 통해 인간 평가를 실시하고 엘로 점수를 적용하는 것.
• 일반화 및 추론 능력 평가를 위해 GenAI-Bench, DOCCI-Test-Pivots, GeckoNum과 같은 외부 벤치마크를 활용하는 것.
• 외부 모델의 경우 공개 API를 통해 평가하고, DALL·E 3의 경우 공개된 이미지를 사용하여 일관성과 공정성을 확보하는 것.

실험 결과

연구 질문

• RQ1 Imagen 3는 다양한 품질 기준에서 인간 평가를 통해 다른 최고 수준의 모델들보다 선호도가 높은 이미지를 생성할 수 있는가?
• RQ2 복잡하고 장문의 설명을 포함한 프롬프트에 대해 Imagen 3는 세부적인 프롬프트-이미지 일치도를 얼마나 잘 유지하는가?
• RQ3 특정 개수의 물체를 정확히 묘사하는 등의 수치 추론 작업에서 Imagen 3의 성능은 어떠한가?
• RQ4 다단계 데이터 필터링 및 합성 캡션 생성이 편향 감소와 모델 일반화 향상에 어떤 영향을 미치는가?
• RQ5 안전성 및 책임감 있는 조치가 악성 또는 악성 요소를 강화하는 출력을 최소화하는 데 얼마나 효과적인가?

주요 결과

• Imagen 3는 GenAI-Bench 벤치마크에서 종합 선호도 측면에서 가장 높은 엘로 점수(1,115)를 기록했으며, DALL·E 3(1,078) 및 Stable Diffusion 3.5 Large(1,059)를 크게 앞서는 성과를 보였다.
• 시각적 품질 평가에서 Imagen 3-002는 엘로 점수 1,135를 기록해 DALL·E 3(1,112) 및 Stable Diffusion 3.5 Large(1,104)를 모두 초월했다.
• 프롬프트-이미지 일치도 평가에서 Imagen 3-002는 GenAI-Bench 세트에서 1,106점의 점수를 기록했으며, DALL·E 3(1,066) 및 Midjourney v6(1,063)를 뛰어넘었다.
• GeckoNum 벤치마크에서 Imagen 3는 복잡한 장면에서 객체 수를 정확히 묘사하는 데 강력한 수치 추론 능력을 보였다.
• DOCCI-Test-Pivots를 활용한 세부 일치도 평가에서 Imagen 3는 장황한 프롬프트에 포함된 복잡한 구성 요소를 잘 유지하는 데 뛰어난 성능을 보였다.
• 모든 평가 세트에서 인간 평가자들이 Imagen 3를 일관되게 선호했으며, 총 3,225명의 별도 평가자로부터 366,000건 이상의 평가를 확보하여 신뢰성과 편향 감소를 확보했다.