[논문 리뷰] Large Scale Qualitative Evaluation of Generative Image Model Outputs

Yannick Assogba, Adam Pearce외 1명|arXiv (Cornell University)|2023. 01. 11.

Aesthetic Perception and Analysis인용 수 4

한 줄 요약

이 논문은 FID와 같은 표준 지표를 넘어서서, 수십만 개의 이미지에 걸쳐 생성 이미지 모델 출력의 대규모 정성적 평가를 가능하게 하는 시각적 분석 시스템인 Ravel을 소개한다. 클러스터링과 의미적 임bedding 공간을 활용함으로써 Ravel는 모드 붕괴, 데이터 분포의 누락 영역, 품질과 다양성 간의 상충 관계와 같은 문제를 탐지하기 위한 상호작용 가능한 탐색을 지원한다.

ABSTRACT

Evaluating generative image models remains a difficult problem. This is due to the high dimensionality of the outputs, the challenging task of representing but not replicating training data, and the lack of metrics that fully correspond to human perception and capture all the properties we want these models to exhibit. Therefore, qualitative evaluation of model outputs is an important part of model development and research publication practice. Quantitative evaluation is currently under-served by existing tools, which do not easily facilitate structured exploration of a large number of examples across the latent space of the model. To address this issue, we present Ravel, a visual analytics system that enables qualitative evaluation of model outputs on the order of hundreds of thousands of images. Ravel allows users to discover phenomena such as mode collapse, and find areas of training data that the model has failed to capture. It allows users to evaluate both quality and diversity of generated images in comparison to real images or to the output of another model that serves as a baseline. Our paper describes three case studies demonstrating the key insights made possible with Ravel, supported by a domain expert user study.

연구 동기 및 목표

• 생성 이미지 모델의 정성적 평가를 위한 확장 가능한 도구의 부족을 해결하고, 모드 붕괴나 데이터 분포 누락과 같은 문제를 탐지하는 데 기여한다.
• 연구자들이 일반적으로 실습에서 다루는 10~100장의 이미지 수준을 뛰어나, 최대 12만 장의 이미지까지 모델 출력을 대규모로 탐색할 수 있도록 지원한다.
• 모델 내부에 대한 액세스 없이도 어떤 생성 모델 아키텍처의 출력과도 비교할 수 있는 시스템에 종속되지 않는 인터페이스를 제공한다.
• 의미적 임베딩 공간에서의 시각적 비교를 통해 모델 행동에 대한 가설 생성을 촉진한다.
• FID와 같은 단일 수치 지표의 한계를 극복하고, 대규모에서 인간이 이끄는 세밀한 모니터링을 가능하게 한다.

제안 방법

• Ravel는 두 단계의 접근 방식을 사용한다: 첫 번째로, 학습된 임베딩을 활용해 유사한 시각적·의미적 특성을 가진 샘플을 클러스터링한다.
• 두 번째로, FID, 정밀도, 재현율 등의 집계 지표를 사용해 클러스터를 시각화하여 사용자가 문제 영역을 식별할 수 있도록 안내한다.
• 시스템은 의미적 임베딩 공간을 활용해 실제 이미지와 생성된 이미지를 옆으로 비교할 수 있는 사용자 인터페이스를 통해 상호작용 탐색을 지원한다.
• 사용자는 클러스터를 탐색하고 고해상도에서 개별 이미지를 검토하며, 클러스터 내 외곽치를 탐색하여 아티팩트나 분포 실패를 탐지할 수 있다.
• 인터페이스는 전역 및 국소 시각을 모두 지원한다: 사용자는 클래스 조건부 시각과 유사도 기반 클러스터링 간 전환을 통해 모델 행동을 다양한 관점에서 탐색할 수 있다.
• Ravel는 모델에 종속되지 않게 설계되어, 모델 내부에 대한 액세스 없이도 어떤 생성 모델 아키텍처의 출력과도 작동한다.

Figure 1: The Ravel interface primarily consists of: A) Dataset & view options. B) Summary charts & linked cluster plots. C) Side by side image grids for visual comparison of clusters. This view shows a cluster comparing real images on the left to generated images on the right.

실험 결과

연구 질문

• RQ1 연구자들이 일반적인 소규모 샘플 정성적 검토를 뛰어나, 대규모에서 생성 이미지 모델 출력의 품질과 다양성을 효과적으로 탐색하고 평가하는 방법은 무엇인가?
• RQ2 어떤 시각적 분석 기법이 대규모 모델 출력에서 모드 붕괴와 훈련 데이터 분포의 누락 영역을 탐지하는 데 도움이 되는가?
• RQ3 의미적 임베딩 공간에서의 시각적 비교가 모델 행동과 실패 유형에 대한 가설 생성에 얼마나 기여하는가?
• RQ4 인간 전문가들이 대규모 시각적 탐색을 통해 FID와 같은 단일 수치 지표가 포착하지 못하는 문제를 어떻게 식별하는가?
• RQ5 생성 모델의 정성적 평가를 위한 클러스터링과 임베딩 기반 탐색을 사용할 때 발생하는 제한 사항이나 사용성 문제의 정도는 어떠한가?

주요 결과

• 전문가들이 Ravel를 사용해 FID 점수에서는 드러나지 않았던, StyleGAN2 기반 모델에서의 얼굴 페인팅 및 특정 헤어드레서 누락과 같은 모델 커버리지의 미처 발견되지 않은 격차를 식별했다.
• BigGAN-deep에서 모드 붕괴가 발생했음을 Ravel를 통해 탐지했으며, 이는 훈련 분포의 좁은 부분집합에 국한된 생성 샘플로 인해 발생했고, 표준 지표로는 포착되지 않았다.
• 사용자들은 Ravel에서의 시각적 검토가 정량적 지표만으로는 효과적으로 드러내지 못하는 아티팩트와 분포 문제(예: 텍스처 편향 또는 기억 현상)를 더 효과적으로 파악했다고 일관되게 보고했다.
• 참가자들은 클래스 레이블이 아닌 유사도 기반 클러스터링이 외곽치와 희귀 실패 유형을 식별하는 데 더 효과적이라고 평가했으며, 이는 유사도 기반 그룹화가 진단적 통찰력을 향상시킨다는 것을 시사한다.
• 다른 강점에도 불구하고, 사용자들은 추가 요약 없이 클러스터 의미를 해석하는 데 어려움을 겪었으며, 향후 버전에서 더 나은 클러스터 설명 또는 계층적 클러스터링 지원이 필요하다고 지적했다.
• 주요 제한점으로는 실시간으로 기억 현상을 탐지할 수 없다는 점이었으며, 사용자들은 이를 향상시키기 위해 최근접 이웃 검색 기능을 통합할 것을 제안했다.

Figure 2: Beeswarm plot showing distribution of cluster precision scores. Each dot is a cluster which the currently selected dot shown in orange. A description of the metric can be accessed by clicking on the ? icon.