[논문 리뷰] Subjective and Objective Quality Assessment for in-the-Wild Computer Graphics Images

Zicheng Zhang, Wei Sun외 6명|arXiv (Cornell University)|2023. 03. 14.

Image and Video Quality Assessment인용 수 6

한 줄 요약

이 논문은 6,000개의 컴퓨터 그래픽스 이미지(CGIS)와 그들의 정성 평가된 품질 점수를 포함하는 대규모 실외 환경 기반 데이터베이스인 CGIQA-6k를 소개하고, 왜곡과 미학적 품질을 동시에 모델링하는 딥러닝 기반의 비참조(no-reference, NR) 이미지 품질 평가 모델을 제안한다. 제안된 방법은 CGIQA-6k 및 관련 데이터베이스에서 모든 최신 기술(SOTA) NR IQA 모델을 능가하며, 다양한 CGI 왜곡에 걸쳐 뛰어난 정확성과 일반화 능력을 입증한다.

ABSTRACT

Computer graphics images (CGIs) are artificially generated by means of computer programs and are widely perceived under various scenarios, such as games, streaming media, etc. In practice, the quality of CGIs consistently suffers from poor rendering during production, inevitable compression artifacts during the transmission of multimedia applications, and low aesthetic quality resulting from poor composition and design. However, few works have been dedicated to dealing with the challenge of computer graphics image quality assessment (CGIQA). Most image quality assessment (IQA) metrics are developed for natural scene images (NSIs) and validated on databases consisting of NSIs with synthetic distortions, which are not suitable for in-the-wild CGIs. To bridge the gap between evaluating the quality of NSIs and CGIs, we construct a large-scale in-the-wild CGIQA database consisting of 6,000 CGIs (CGIQA-6k) and carry out the subjective experiment in a well-controlled laboratory environment to obtain the accurate perceptual ratings of the CGIs. Then, we propose an effective deep learning-based no-reference (NR) IQA model by utilizing both distortion and aesthetic quality representation. Experimental results show that the proposed method outperforms all other state-of-the-art NR IQA methods on the constructed CGIQA-6k database and other CGIQA-related databases. The database is released at https://github.com/zzc-1998/CGIQA6K.

연구 동기 및 목표

• 기존의 천연 풍경 이미지(NSIs)를 대상으로 설계된 평가 지표가 실외 환경의 컴퓨터 그래픽스 이미지(CGIS)에 대해 부적절하게 평가되는 데서 비롯되는 이미지 품질 평가의 격차를 해소하기 위해.
• 게임 및 영화 CGI를 포함한 다양한 왜곡과 콘텐츠 유형을 포함하는 6,000개의 CGIs로 구성된 대규모, 정성 평가 기반 데이터베이스를 구축하기 위해.
• CGI에서의 구조적 왜곡과 미학적 품질을 효과적으로 포착할 수 있는 딥러닝 기반의 비참조(NR) IQA 모델을 개발하기 위해.
• CCT-CGI, NBU-CIQAD, LIVE-YT-Gaming 데이터셋에서의 교차 데이터베이스 평가를 통해 모델의 강건성과 일반화 능력을 검증하기 위해.

제안 방법

• 저자들은 3,000개의 게임 CGI와 3,000개의 영화 CGI로 구성된 실외 환경 기반의 6,000개의 CGI 이미지 데이터베이스인 CGIQA-6k를 구축하였으며, 기존 자료에서 수집한 후 제어된 실험실 환경에서 주관적 품질 점수를 부여하였다.
• 이중 브랜치 네트워크 아키텍처를 사용하여 왜곡과 미학적 품질 표현을 동시에 인코딩하는 딥러닝 기반의 NR IQA 모델을 제안하였다.
• 모델은 사전 학습된 백본 네트워크의 특징을 활용하여 입력 CGI의 다중 수준 표현을 추출한 후, 왜곡과 미학적 품질 모델링을 위한 별도의 브랜치를 거친다.
• 두 브랜치는 연결(concatenation)과 완전 연결층을 통해 융합되어 단일 품질 점수를 예측하며, 평균 제곱오차 손실을 사용하여 엔드 투 엔드로 학습된다.
• 모델은 CGIQA-6k에서만 독립적으로 학습되었으며, 일반화 능력을 평가하기 위해 여러 외부 CGIQA 벤치마크에서 평가되었다.
• 모든 모델 간 잔차 분포를 비교하기 위해 Sheikh 등(2006a)의 방법을 사용하여 통계적 유의성 검증을 수행하였다.

(a) Sample NSI

실험 결과

연구 질문

• RQ1 기존의 참조 기반 및 비참조 기반 IQA 지표 중 천연 풍경 이미지(NSIs)를 대상으로 설계된 것은 실외 환경의 컴퓨터 그래픽스 이미지(CGIS)에 효과적으로 적용될 수 있는가?
• RQ2 NSIs와 CGI 간의 주요 통계적 및 정성적 차이점은 무엇이며, 이러한 차이가 NSI 기반 IQA 모델이 CGI 품질 평가에 부적합하게 만드는가?
• RQ3 딥러닝 기반의 비참조(NR) IQA 모델은 어떻게 설계되어야 하며, CGI에서 왜곡과 미학적 품질을 동시에 효과적으로 모델링할 수 있는가?
• RQ4 제안된 모델은 콘텐츠 분포와 왜곡 유형이 다른 새로운 CGIQA 데이터베이스에 잘 일반화되는가?
• RQ5 왜곡 모델링과 미학적 품질 모델링의 상대적 기여도는 CGIQA-6k 및 관련 데이터셋에서의 전체 성능에 대해 어떠한가?

주요 결과

• 제안된 NR IQA 모델은 CGIQA-6k 데이터베이스에서 스피어만 순위상관계계수(SRCC) 0.8092와 피어슨 선형상관계수(PLCC) 0.8293를 기록하여, 모든 최신 기술(SOTA) NR IQA 방법을 뛰어넘었다.
• CCT-CGI 데이터셋에서는 SRCC 0.8011과 PLCC 0.8055를 기록하여 압축 왜곡이 가해진 CGI에 대한 강력한 일반화 능력을 입증하였다.
• 색상 특화 왜곡이 주요 특징인 만화 이미지에 초점을 맞춘 NBU-CIQAD 데이터셋에서는 SRCC 0.3061과 PLCC 0.3003을 기록하여 도메인 이탈로 인한 성능 격차가 있음을 나타내었다.
• 통계적 검증을 통해 제안된 방법은 CGIQA-6k 및 그 하위 집합에서 비교된 모든 모델보다 통계적으로 유의미하게 뛰어나며, 모든 쌍별 비교에서 p값 < 0.05를 확보하였다.
• LIVE-YT-Gaming 데이터셋에서의 성능 평가 결과, 비디오 기반 CGI 콘텐츠로의 일반화 능력이 입증되었으며, SRCC 0.7088과 PLCC 0.7086을 기록하였다.
• 제거 실험(ablation study) 결과, 왜곡과 미학적 품질을 동시에 모델링하는 것이 왜곡 특징만을 사용하는 모델 대비 SRCC 12.3% 향상된 결과를 보였다.

(b) Sample CGI