[논문 리뷰] AGIQA-3K: An Open Database for AI-Generated Image Quality Assessment

Chunyi Li, Zicheng Zhang외 6명|arXiv (Cornell University)|2023. 06. 07.

Image Retrieval and Classification Techniques인용 수 4

한 줄 요약

이 논문은 6개의 다양한 텍스트-이미지 모델에서 유래한 2,982幅의 AI 생성 이미지(AIG)를 포함하는, AI 생성 이미지(AIG) 품질 평가를 위한 가장 큰 오픈 데이터베이스인 AGIQA-3K를 소개한다. 이는 정성적 품질과 텍스트-이미지 일치도에 대해 세분화된 주관적 평가를 수립하며, 기존 방법보다 성능을 크게 향상시킨 새로운 메트릭인 StairReward을 제안한다. 이는 가장 도전적인 서브셋에서 PLCC 0.8713을 달성한다.

ABSTRACT

With the rapid advancements of the text-to-image generative model, AI-generated images (AGIs) have been widely applied to entertainment, education, social media, etc. However, considering the large quality variance among different AGIs, there is an urgent need for quality models that are consistent with human subjective ratings. To address this issue, we extensively consider various popular AGI models, generated AGI through different prompts and model parameters, and collected subjective scores at the perceptual quality and text-to-image alignment, thus building the most comprehensive AGI subjective quality database AGIQA-3K so far. Furthermore, we conduct a benchmark experiment on this database to evaluate the consistency between the current Image Quality Assessment (IQA) model and human perception, while proposing StairReward that significantly improves the assessment performance of subjective text-to-image alignment. We believe that the fine-grained subjective scores in AGIQA-3K will inspire subsequent AGI quality models to fit human subjective perception mechanisms at both perception and alignment levels and to optimize the generation result of future AGI models. The database is released on https://github.com/lcysyzxdxc/AGIQA-3k-Database.

연구 동기 및 목표

• 다양한 모델과 프롬프트를 통해 AI 생성 이미지(AIG)에 대한 종합적이고 세분화된 주관적 품질 데이터베이스의 부족을 해결하기 위해.
• AIG의 정성적 품질과 텍스트-이미지 일치도에 대한 표준화된 대규모 주관적 평가 프레임워크를 수립하기 위해.
• 기존 이미지 품질 평가(IQA) 모델이 인간의 인지와 비교하여 어떻게 평가되는지 벤치마킹하고 성능 격차를 식별하기 위해.
• AIG의 텍스트-이미지 일치도 객관적 평가를 향상시키는 데 기여하는 새로운 메트릭인 StairReward을 제안하고 검증하기 위해.
• 미래의 AIG 품질 모델이 인간의 정성적 기제와 더 잘 일치하도록 기반을 마련하기 위해.

제안 방법

• 저자들은 다양한 프롬프트와 모델 파라미터를 활용하여, GAN 기반, 순차적, 확산 기반 아키텍처를 포함한 6종의 텍스트-이미지 모델을 사용해 총 2,982개의 AIG를 수집하였다.
• 정성적 품질과 텍스트-이미지 일치도에 대해 평균 의견 점수(MOS)를 수집하기 위해 표준화된 실험실 기반 주관적 실험을 실시하였다.
• 데이터베이스는 다양한 스타일과 프롬프트 복잡도를 포함한 다차원 세분화된 애너테이션을 포함하여 광범위한 대표성을 확보하였다.
• StairReward는 프롬프트 분할과 이미지 패치 수준의 특징 분석을 활용하여 의미적 일치도를 더 잘 포착하는 데 목적이 있다.
• AGIQA-3K에서 객관적 메트릭과 인간 주관적 점수 간 상관관계(SRoCC, KRoCC, PLCC)를 평가하기 위해 벤치마크 실험을 수행하였다.
• StairReward의 각 구성 요소 기여도를 검증하기 위해 아블레이션 연구를 수행하였으며, 단어 수준의 분할과 이미지 패치 처리 모두가 필수적임을 확인하였다.

실험 결과

연구 질문

• RQ1 기존의 IQA 모델은 인간의 주관적 평가와 비교해 AIG의 정성적 품질과 텍스트-이미지 일치도 평가에서 어떻게 성능을 발휘하는가?
• RQ2 현재의 메트릭은 동일한 생성 모델 내에서 유사한 품질을 가진 AIG를 얼마나 잘 구분할 수 있는가?
• RQ3 AIG의 텍스트-이미지 일치도 객관적 평가 성능을 크게 향상시킬 수 있는 새로운 메트릭을 설계할 수 있는가?
• RQ4 어느 구성 요소가 일치도 평가 성능 향상에 가장 중요하며, 각각이 어떻게 개별적으로 기여하는가?
• RQ5 다양한 프롬프트 스타일과 이미지 콘텐츠 유형 간에 일치도 메트릭의 성능은 어떻게 달라지는가?

주요 결과

• StairReward는 '스타일 없음' 서브셋에서 PLCC 0.8713을 기록하여 기존 메트릭인 ImageReward(PLCC: 0.7743)와 CLIP(PLCC: 0.6867)를 크게 앞서며 성능을 뛰어넘었다.
• 모든 네 종류의 프롬프트 길이 서브셋에서 StairReward가 모든 베이스라인 메트릭을 초월했으며, '추상적 및 SF 스타일' 서브셋에서 가장 높은 SRoCC(0.7682)와 PLCC(0.8468)를 기록하였다.
• 기존의 정성 기반 IQA 모델은 인간의 인지와 강한 상관관계를 보였음(Pearson 상관계수 > 0.7), 반면 일치도 모델은 뚜렷한 성능 격차를 보이며 향상이 절실한 상황임을 시사하였다.
• 아블레이션 연구를 통해 프롬프트 분할과 이미지 패치 수준 처리 모두가 필수적임을 확인하였으며, 둘 중 하나를 제거할 경우 모든 메트릭에서 성능 저하가 발생하였다.
• 데이터베이스 분석 결과, 동일한 모델 내에서도 프롬프트와 파라미터에 따라 이미지 품질이 크게 달라지는 것으로 나타나, 정교한 평가 도구의 필요성을 강조하였다.
• AGIQA-3K는 지금까지 가장 종합적이고 다중 모델, 다차원적 AIG 품질 데이터베이스로서, GAN, 순차적, 확산 기반 모델을 포함하며 세분화된 주관적 평가를 제공한다.