[논문 리뷰] Deep Neural Networks for Blind Image Quality Assessment: Addressing the Data Challenge

ShahRukh Athar, Zhongling Wang외 1명|arXiv (Cornell University)|2021. 09. 24.

Image and Video Quality Assessment참고 문헌 120인용 수 7

한 줄 요약

이 논문은 현재까지 가장 큰 실수 없는 이미지 품질 평가(BIQA) 데이터베이스인 Waterloo Exploration-II 데이터셋을 소개한다. 이 데이터셋은 정제된 이미지 3.57K장과 345만 장의 왜곡된 이미지를 포함한다. 저자들은 새로운 합성 레이블링 기법을 사용하여 EONSS라는 단순한 DNN 기반 BIQA 모델을 훈련시켰으며, 재학습 없이도 아홉 개의 기준 데이터셋에서 예측 정확도와 추론 속도 면에서 최신 기술을 초월한다.

ABSTRACT

The enormous space and diversity of natural images is usually represented by a few small-scale human-rated image quality assessment (IQA) datasets. This casts great challenges to deep neural network (DNN) based blind IQA (BIQA), which requires large-scale training data that is representative of the natural image distribution. It is extremely difficult to create human-rated IQA datasets composed of millions of images due to constraints of subjective testing. While a number of efforts have focused on design innovations to enhance the performance of DNN based BIQA, attempts to address the scarcity of labeled IQA data remain surprisingly missing. To address this data challenge, we construct so far the largest IQA database, namely Waterloo Exploration-II, which contains 3,570 pristine reference and around 3.45 million singly and multiply distorted images. Since subjective testing for such a large dataset is nearly impossible, we develop a novel mechanism that synthetically assigns perceptual quality labels to the distorted images. We construct a DNN-based BIQA model called EONSS, train it on Waterloo Exploration-II, and test it on nine subject-rated IQA datasets, without any retraining or fine-tuning. The results show that with a straightforward DNN architecture, EONSS is able to outperform the very state-of-the-art in BIQA, both in terms of quality prediction performance and execution speed. This study strongly supports the view that the quantity and quality of meaningfully annotated training data, rather than a sophisticated network architecture or training strategy, is the dominating factor that determines the performance of DNN-based BIQA models. (Note: Since this is an ongoing project, the final versions of Waterloo Exploration-II database, quality annotations, and EONSS, will be made publicly available in the future when it culminates.)

연구 동기 및 목표

• 딥러닝 기반 실수 없는 이미지 품질 평가(BIQA)에서 발생하는 심각한 데이터 부족 문제를 해결한다. 이는 대규모, 인간 평가 기반 데이터셋을 구축하는 것이 현실적으로 불가능하기 때문이다.
• 기존 BIQA 모델들이 훈련 및 평가에 사용하는 소규모, 제한된 주관적 평가 데이터셋에 의존하는 한계를 극복한다.
• 대규모 데이터의 양과 질이 모델 아키텍처의 복잡성보다도 고성능 DNN 기반 BIQA를 달성하는 데 더 중요하다는 것을 입증한다.
• 인간 주관적 테스트 없이 수백만 장의 왜곡된 이미지에 대해 인지적으로 정확한 품질 레이블을 생성할 수 있는 확장 가능한 메커니즘을 개발한다.
• 합성 주석을 사용한 대규모이고 다양한 데이터셋에서 훈련 및 평가한 모델을 통해 DNN 기반 BIQA의 새로운 기준을 설정한다.

제안 방법

• 정제된 이미지 3,570장과 약 345만 장의 단일 및 다중 왜곡 이미지를 포함하는 Waterloo Exploration-II 데이터베이스를 구축한다.
• 작은 주관적 평가 데이터셋에 훈련된 DNN 기반 모델을 사용하여 왜곡된 이미지에 인지적 품질 점수를 할당하는 새로운 합성 주석 기법을 개발한다.
• 합성 품질 레이블을 사용하여 전체 Waterloo Exploration-II 데이터셋에서 끝에서 끝까지 EONSS 모델—경량 DNN 아키텍처—를 훈련시킨다.
• 정확도와 일반화 능력을 향상시키기 위해 FR 융합 및 순위 집계 기법을 적용한다.
• 재학습 없이도 아홉 개의 독립적인 주관적 평가 기반 IQA 데이터셋에서 EONSS를 평가하여 제로샷 일반화 능력을 시험한다.
• 데이터베이스의 점진적 훈련 서브셋(1%, 5%, 10%, 20%)을 사용하여 훈련 데이터 크기의 모델 성능에 미치는 영향을 경험적으로 연구한다.

실험 결과

연구 질문

• RQ1 대규모, 합성 레이블이 부여된 이미지 품질 데이터셋은 DNN 기반 실수 없는 이미지 품질 평가 모델의 성능을 크게 향상시킬 수 있는가?
• RQ2 훈련 데이터의 양과 다양성이 모델 아키텍처의 복잡성보다 BIQA 모델 성능에 더 큰 영향을 미치는가?
• RQ3 DNN 기반 기법을 통해 생성된 합성 품질 레이블은 인간 주관적 평가와 비교해 얼마나 정확한가?
• RQ4 대규모이고 다양한 데이터셋에서 훈련된 단순한 DNN 아키텍처가 소규모 데이터셋에서 훈련된 복잡한 최신 기술 BIQA 모델보다 성능이 뛰어나게 되는가?
• RQ5 DNN 기반 BIQA 모델의 성능 포화가 발생하는 데이터 스케일은 어느 정도인가?

주요 결과

• EONSS는 재학습 없이도 아홉 개의 주관적 평가 기반 IQA 데이터셋에서 모든 이전 BIQA 모델을 초월하는 최신 기술 성능을 달성하며, PLCC 및 SRCC 지표 모두에서 승리한다.
• Waterloo Exploration-II 데이터셋의 1%에서 20%까지 성능이 크게 향상되며, 20%를 초과하면 수익 감소가 나타나 중간 규모의 데이터 스케일에서 성능 포화가 발생할 가능성이 있음을 시사한다.
• EONSS는 IWSSIM과 같은 최고 성능을 보이는 전면 기반(IQ) 방법조차도 실수 없는 평가에서 앞서며, 합성 데이터가 FR 방법과의 격차를 메울 잠재력을 보여준다.
• EONSS의 성공은 주로 Waterloo Exploration-II 데이터셋의 규모와 다양성, 그리고 고품질의 합성 주석 덕분이며, 아키텍처의 복잡성 때문이 아니다.
• 합성 레이블링 기법은 다양한 왜곡 유형에서 인간 평가와 강한 상관관계를 보이며, 인간의 인지적 인식을 매우 잘 예측함을 검증하였다.
• 결과적으로 데이터의 품질과 양이 DNN 기반 BIQA에서 주요 요소이며, 아키텍처 혁신은 보조적 역할을 한다는 것이 입증되었다.