[논문 리뷰] No-Reference Color Image Quality Assessment: From Entropy to Perceptual Quality

Xiaoqiao Chen, Qingyi Zhang외 3명|arXiv (Cornell University)|2018. 12. 27.

Image and Video Quality Assessment참고 문헌 48인용 수 9

한 줄 요약

이 논문은 공간 도메인과 주파수 도메인에서 이미지 엔트로피와 상호정보량을 활용하여 특징을 추출하는 일반 목적의 참조 없음 이미지 품질 평가 방법 ENIQA를 제안한다. 서포트 벡터 분류 및 회귀를 사용하여 LIVE 및 TID2013 데이터베이스에서 최신 기술 수준의 성능을 달성하며, 주관적 평가와 높은 일致성을 보이고 다양한 왜곡 유형과 데이터베이스 간에 강력한 일반화 능력을 보인다.

ABSTRACT

This paper presents a high-performance general-purpose no-reference (NR) image quality assessment (IQA) method based on image entropy. The image features are extracted from two domains. In the spatial domain, the mutual information between the color channels and the two-dimensional entropy are calculated. In the frequency domain, the two-dimensional entropy and the mutual information of the filtered sub-band images are computed as the feature set of the input color image. Then, with all the extracted features, the support vector classifier (SVC) for distortion classification and support vector regression (SVR) are utilized for the quality prediction, to obtain the final quality assessment score. The proposed method, which we call entropy-based no-reference image quality assessment (ENIQA), can assess the quality of different categories of distorted images, and has a low complexity. The proposed ENIQA method was assessed on the LIVE and TID2013 databases and showed a superior performance. The experimental results confirmed that the proposed ENIQA method has a high consistency of objective and subjective assessment on color images, which indicates the good overall performance and generalization ability of ENIQA. The source code is available on github https://github.com/jacob6/ENIQA.

연구 동기 및 목표

• 참조 이미지가 필요 없는 일반 목적의 참조 없음 이미지 품질 평가(IQA) 방법을 개발하기 위해.
• 공간 도메인과 주파수 도메인에서 이미지 엔트로피와 상호정보량을 활용하여 IQA의 정확성과 강인성을 향상시키기 위해.
• 다양한 왜곡 유형 간에 목적 점수와 주관적 인간 인식 간의 높은 일致성을 확보하기 위해.
• 기존의 NR-IQA 방법들에 비해 뛰어난 성능을 유지하면서도 낮은 계산 복잡도를 달성하기 위해.
• LIVE 및 TID2013 데이터베이스 간의 교차 데이터베이스 테스트를 통해 모델의 일반화 능력을 검증하기 위해.

제안 방법

• 공간 도메인에서 색상 채널에서 이차원 엔트로피(TE)와 상호정보량(MI)을 추출한다.
• 로그-갈버 필터링을 적용하여 이미지를 하위 대역으로 분해하고, 주파수 도메인에서 각 필터링된 하위 대역에 대해 TE와 MI를 계산한다.
• 공간 도메인과 주파수 도메인의 특징을 통합하여 이미지 표현을 위한 유일한 특징 벡터로 조합한다.
• 이미지 왜곡 유형을 분류하기 위해 서포트 벡터 분류기(SVC)를 사용하고, 최종 품질 점수를 예측하기 위해 서포트 벡터 회귀(SVR)를 사용한다.
• 모델을 LIVE 데이터베이스에서 학습하고, 교차 검증 및 교차 데이터베이스 테스트를 통해 LIVE 및 TID2013 데이터베이스에서 평가한다.
• 구조적 정보(엔트로피와 MI)와 쇼킹 인식 필터링을 통한 인지적 관련성을 결합한 하이브리드 특징 추출 전략을 적용한다.

실험 결과

연구 질문

• RQ1 오직 엔트로피와 상호정보량에 기반한 참조 없음 IQA 방법이 참조 이미지 없이도 높은 정확도를 달성할 수 있는가?
• RQ2 제안된 방법은 JPEG, JP2K, 노이즈, 블러와 같은 다양한 유형의 이미지 왜곡에 대해 얼마나 잘 일반화되는가?
• RQ3 공간 도메인과 주파수 도메인의 특징을 통합함으로써 목적 점수와 주관적 MOS 간의 일치성이 얼마나 향상되는가?
• RQ4 기존의 최신 기술 수준의 FR 및 NR-IQA 방법들과 비교해 볼 때, 표준 기준 데이터베이스에서 제안된 방법의 성능은 어떠한가?
• RQ5 LIVE 데이터베이스에서 학습된 모델이 재학습 없이도 TID2013 데이터베이스로 효과적으로 일반화되는가?

주요 결과

• ENIQA는 TID2013 데이터베이스에서 스피어만 순위 상관계수(SROCC) 0.8973과 피어슨 선형 상관계수(PLCC) 0.9009를 기록하여 테스트된 모든 다른 NR-IQA 방법들을 능가했다.
• LIVE 데이터베이스에서 ENIQA는 SROCC 0.9244와 PLCC 0.9140를 기록하여 주관적 MOS 점수와 강력한 일치를 보였다.
• 모델는 높은 일반화 능력을 보였으며, LIVE에서 학습하고 TID2013에서 테스트했을 때도 경쟁 가능한 성능을 유지했으며, SROCC 0.8973과 RMSE 0.6067을 기록했다.
• 다섯 가지 왜곡 유형에 대한 분류 정확도 평균은 71.27%였고, 가장 높은 정확도(82.58%)는 화이트 노이즈(WN)에서 기록했으며, JPEG 및 JP2K에 대해서도 뛰어난 성능을 보였다.
• 산점도는 예측 점수가 DMOS/MOS와 균일하게 분포하고 강하게 선형 상관관계를 보임을 확인하여 강건성과 일관성을 입증했다.
• ENIQA는 LIVE 및 TID2013 양대 데이터베이스에서 BRISQUE, NIQE 및 기타 선도적 NR-IQA 방법들을 능가했으며, 특히 교차 데이터베이스 평가에서 뛰어난 성능을 보였다.