[논문 리뷰] Consistency-diversity-realism Pareto fronts of conditional image generative models

Pietro Astolfi, Marlène Careil외 6명|arXiv (Cornell University)|2024. 06. 14.

Philosophy and History of ScienceArts and Humanities인용 수 3

한 줄 요약

이 논문은 조건부 이미지 생성 모델을 세계 시뮬레이터로 평가하기 위한 프레임워크로 일관성-다양성-현실성 파레토 프론트를 제안한다. 텍스트-이미지 및 이미지&텍스트-이미지 모델에서 지시 계수, 사후 필터링, 압축률 등의 노브를 분석함으로써, 현실성/일관성과 표현 다양성 사이의 상충 관계를 드러내며, 최신 모델이 더 높은 현실성과 일관성을 위해 다양성을 희생한다는 것을 보여준다. 반면, 이전 모델인 LDM 1.5와 LMD 2.1은 더 균형 잡힌 다양성 성능을 달성한다.

ABSTRACT

Building world models that accurately and comprehensively represent the real world is the utmost aspiration for conditional image generative models as it would enable their use as world simulators. For these models to be successful world models, they should not only excel at image quality and prompt-image consistency but also ensure high representation diversity. However, current research in generative models mostly focuses on creative applications that are predominantly concerned with human preferences of image quality and aesthetics. We note that generative models have inference time mechanisms - or knobs - that allow the control of generation consistency, quality, and diversity. In this paper, we use state-of-the-art text-to-image and image-and-text-to-image models and their knobs to draw consistency-diversity-realism Pareto fronts that provide a holistic view on consistency-diversity-realism multi-objective. Our experiments suggest that realism and consistency can both be improved simultaneously; however there exists a clear tradeoff between realism/consistency and diversity. By looking at Pareto optimal points, we note that earlier models are better at representation diversity and worse in consistency/realism, and more recent models excel in consistency/realism while decreasing significantly the representation diversity. By computing Pareto fronts on a geodiverse dataset, we find that the first version of latent diffusion models tends to perform better than more recent models in all axes of evaluation, and there exist pronounced consistency-diversity-realism disparities between geographical regions. Overall, our analysis clearly shows that there is no best model and the choice of model should be determined by the downstream application. With this analysis, we invite the research community to consider Pareto fronts as an analytical tool to measure progress towards world models.

연구 동기 및 목표

• 이미지 품질이나 일관성 외에도 세계의 다양성을 어떻게 표현하는지의 능력을 평가함으로써, 조건부 이미지 생성 모델를 세계 시뮬레이터로 간주하는 것.
• 지시 계수, 사후 필터링, 압축률과 같은 추론 시 노브를 사용하여 일관성, 다양성, 현실성 사이의 상충 관계를 분석하는 것.
• 세 가지 목표에 대해 최신 텍스트-이미지 및 이미지&텍스트-이미지 모델을 비교하여 성능 상충 관계와 역사를 파악하는 것.
• 단일 모델이 언제나 최고는 아니며, 모델 선택은 최종 응용 요구사항에 따라 이뤄져야 한다는 것을 보여주는 것.
• 시각적 세계 모델 향한 진전을 측정하기 위한 새로운 기준으로 파레토 프론트 분석을 주장하는 것.

제안 방법

• 지시 계수, 사후 필터링, 압축률과 같은 추론 시 노브를 체계적으로 변화시켜 여러 모델에서 일관성-다양성-현실성 파레토 프론트를 구성한다.
• 표본 간 유사도와 리콜을 사용해 표현 다양성을 측정하고, 이미지 재구성 품질과 정밀도를 현실성에 대해 평가하며, Davidsonian 장면 그래프 점수를 사용해 프롬프트-이미지 일관성에 대해 평가한다.
• MSCOCO 검증 세트와 지리적 다양성이 높은 GeoDE 데이터셋을 모두 평가하여 지역적 표현 격차를 분석한다.
• 다중 목적 최적화 프레임워크를 사용해 세 성능 축에 걸쳐 파레토 최적 점을 식별한다.
• 가용한 경우 오픈소스 모델(LDM, RDM, PerCo)과 비공개 모델을 모두 분석하여, 노브 설정이 세 지표에 어떻게 영향을 주는지 집중한다.
• 세 가지 파레토 프론트 플롯—일관성-다양성, 현실성-다양성, 일관성-현실성—을 통해 상충 관계를 시각화한다.

실험 결과

연구 질문

• RQ1 지시 계수 및 사후 필터링과 같은 추론 시 노브가 조건부 이미지 생성에서 일관성, 다양성, 현실성 사이의 상충 관계에 어떻게 영향을 미치는가?
• RQ2 일관성, 다양성, 현실성 측면에서 모델 성능의 역사적 변화는 어떻게 이루어지며, 이전 모델과의 비교는 어떠한가?
• RQ3 학습 데이터의 지리적 다양성이 일관성, 다양성, 현실성 성능에 어느 정도의 영향을 미치는가?
• RQ4 PerCo와 같은 이미지 압축 모델이 현실성-다양성 상충 관계 분석에 효과적인 지표가 될 수 있는가? 비트레이트는 이 균형에 어떻게 영향을 미치는가?
• RQ5 관찰된 현실성/일관성과 다양성 사이의 상충 관계는 본질적인가, 아니면 향후 모델이 이를 극복할 수 있는가?

주요 결과

• 최신 모델인 LDM ${}_{\text{XL}}$와 LDM ${}_{\text{XL-Turbo}}$는 LDM 1.5와 LDM 2.1과 같은 이전 모델에 비해 현저히 낮은 표현 다양성을 희생하면서도 더 높은 현실성과 일관성을 달성한다.
• 잠재적 확산 모델의 첫 번째 버전인 LDM 1.5는 GeoDE 데이터셋에서 일관성, 다양성, 현실성의 세 축 모두에서 더 최근 모델들을 능가한다. 이는 지역 표현 격차를 시사한다.
• 지시 계수를 높이면 일관성과 현실성이 모두 향상되지만, 현실성 향상은 일관성 향상보다 조기에 포화 상태에 도달하며, 높은 계수일수록 다양성이 감소한다.
• 사후 필터링은 지시 계수보다 일관성과 현실성을 더 효과적으로 향상시키지만, 상당한 다양성 감소를 동반한다.
• PerCo의 압축률은 높은 비트레이트(낮은 bpp)에서 다양성을 증가시키지만, 현실성은 심각하게 떨어지며, 일관성에는 거의 영향을 주지 않아, 세부 정보 손실을 감수한 의미 보존을 시사한다.
• 모든 평가된 모델에서 현실성/일관성과 다양성 사이에 뚜렷한 상충 관계가 존재하며, 어떤 모델도 동시에 세 목표에서 최적 성능을 달성하지 못한다.