[논문 리뷰] Deep HVS-IQA Net: Human Visual System Inspired Deep Image Quality Assessment Networks.

Soomin Seo, Sehwan Ki외 1명|arXiv (Cornell University)|2019. 02. 14.

Image and Video Quality Assessment인용 수 5

한 줄 요약

이 논문은 인간 시각 시스템(HVS) 특성—특히 시각적 주목도와 미지각 차이(JND)—를 학습 가능한 CNN 아키텍처에 통합한 새로운 딥 러닝 프레임워크인 Deep HVS-IQA Net을 제안한다. HVS 기반의 프론트엔드 처리와 인식적 품질 순서를 유지하는 데에 사용되는 랭크 손실을 통합함으로써, 이 모델은 대규모 IQA 벤치마크에서 기존 최고 성능 모델들을 능가한다.

ABSTRACT

In image quality enhancement processing, it is the most important to predict how humans perceive processed images since human observers are the ultimate receivers of the images. Thus, objective image quality assessment (IQA) methods based on human visual sensitivity from psychophysical experiments have been extensively studied. Thanks to the powerfulness of deep convolutional neural networks (CNN), many CNN based IQA models have been studied. However, previous CNN-based IQA models have not fully utilized the characteristics of human visual systems (HVS) for IQA problems by simply entrusting everything to CNN where the CNN-based models are often trained as a regressor to predict the scores of subjective quality assessment obtained from IQA datasets. In this paper, we propose a novel HVS-inspired deep IQA network, called Deep HVS-IQA Net, where the human psychophysical characteristics such as visual saliency and just noticeable difference (JND) are incorporated at the front-end of the Deep HVS-IQA Net. To our best knowledge, our work is the first HVS-inspired trainable IQA network that considers both the visual saliency and JND characteristics of HVS. Furthermore, we propose a rank loss to train our Deep HVS-IQA Net effectively so that perceptually important features can be extracted for image quality prediction. The rank loss can penalize the Deep HVS-IQA Net when the order of its predicted quality scores is different from that of the ground truth scores. We evaluate the proposed Deep HVS-IQA Net on large IQA datasets where it outperforms all the recent state-of-the-art IQA methods.

연구 동기 및 목표

• 기존의 딥 컨volution 네트워크 기반 IQA 모델들이 시각적 주목도와 미지각 차이(JND)와 같은 인간 시각 시스템(HVS) 특성을 충분히 활용하지 못하는 격차를 보완하기 위해.
• 프론트엔드에서 HVS 심리물리적 특성을 명시적으로 모델링하는 학습 가능한 IQA 네트워크를 개발하여 더 인식적으로 일치하는 품질 예측을 실현하기 위해.
• 예측된 품질 점수의 상대적 순서를 유지하는 랭크 손실을 도입함으로써 훈련의 안정성과 인식적 관련성을 향상시키기 위해.
• HVS 기반 특징과 딥 러닝을 결합하여 대규모 IQA 데이터셋에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 딥 러닝 기반의 품질 평가 모델에서 HVS 특성인 시각적 주목도와 JND 모델을 프론트엔드 전처리 모듈로 통합하여, CNN이 특징을 추출하기 이전에 인간의 인식을 시뮬레이션한다.
• 딥 컨volution 네트워크(CNN)를 사용하여 HVS 처리된 이미지에서 계층적인 특징을 추출하여 품질 예측을 수행한다.
• 예측된 품질 점수의 상대적 순서가 진정된 주관적 점수와 다를 경우에 이를 보상하는 새로운 랭크 손실 함수를 적용한다.
• 모든 네트워크를 엔드 투 엔드 방식으로 훈련하여, 백프로파게이션을 통해 HVS 기반 특징과 CNN 파라미터를 동시에 최적화한다.
• 대규모 IQA 데이터셋을 활용하여 지도 학습을 수행하며, 모델은 주관적 품질 점수로 회귀하면서도 랭크 손실에 의해 정규화된다.
• 시각적으로 중요한 영역—높은 주목도를 가지거나 JND 임계값 근처에 있는 영역—이 특징 학습 과정에서 우선순위가 주어지도록 보장한다.

실험 결과

연구 질문

• RQ1 시각적 주목도와 미지각 차이(JND)와 같은 인간 시각 시스템(HVS) 특성을 딥 러닝 프레임워크에 통합하면 이미지 품질 평가 성능이 향상되는가?
• RQ2 품질 점수의 상대적 순서를 유지하는 랭크 손실 함수는 IQA 모델의 일반화 능력과 인식적 일치도를 어떻게 향상시키는가?
• RQ3 프론트엔드에 HVS 기반 모듈을 도입할 경우, 딥 IQA 네트워크에서 인식적으로 중요한 이미지 특징의 표현력은 어느 정도 향상되는가?
• RQ4 제안된 Deep HVS-IQA Net은 대규모 데이터셋에서 기존 최신 기술 수준의 딥 러닝 기반 IQA 방법보다 뛰어난 성능을 달성하는가?

주요 결과

• Deep HVS-IQA Net은 HVS 기반 특징을 딥 러닝 프레임워크에 통합함으로써 대규모 이미지 품질 평가 데이터셋에서 최신 기술 수준의 성능을 달성한다.
• 프론트엔드에 시각적 주목도와 JND 모델링을 통합함으로써, 모델은 인식적으로 중요한 왜곡을 탐지하는 능력이 크게 향상된다.
• 제안된 랭크 손실 함수는 예측된 품질 점수의 상대적 순서가 진정된 점수와 일치하도록 보장함으로써 훈련을 개선하고, 강인성과 일반화 능력을 향상시킨다.
• 모델은 벤치마크 데이터셋에서 모든 최근 최신 기술 수준의 IQA 방법을 능가하며, 딥 러닝 기반 품질 평가에서 HVS 기반 설계의 효과성을 입증한다.
• 제거 실험 결과는 HVS 프론트엔드 처리와 랭크 손실이 성능 향상에 독립적으로 기여하며 상호 보완적인 영향을 미친다는 것을 확인한다.
• 모델은 다양한 이미지 왜곡에 대해 강력한 일반화 능력을 보이며, 다양한 인식적 과제에 대한 강인함을 나타낸다.