[논문 리뷰] A Novel Just-Noticeable-Difference-based Saliency-Channel Attention Residual Network for Full-Reference Image Quality Predictions

Soomin Seo, Sehwan Ki외 1명|arXiv (Cornell University)|2019. 02. 14.

Image and Video Quality Assessment참고 문헌 77인용 수 5

한 줄 요약

이 논문은 인간 시각 시스템(HVS)의 특성—특히 임계차별차이(JND)와 시각적 주목성—를 잔차 신경망에 통합한 새로운 딥러닝 프레임워크인 JND-SalCAR를 제안한다. 이는 주목성 기반 채널 및 공간 주의 메커니즘을 포함한다. 주목성 맵을 사전 지식으로 사용해 패치 가중치 학습을 유도함으로써, 대규모 IQA 데이터셋에서 최신 기술 수준의 성능을 달성하며, 인간 평가 점수와의 스피어만 상관계수 및 피어슨 상관계수를 크게 향상시킨다.

ABSTRACT

Recently, due to the strength of deep convolutional neural networks (CNN), many CNN-based image quality assessment (IQA) models have been studied. However, previous CNN-based IQA models likely have yet to utilize the characteristics of the human visual system (HVS) fully for IQA problems when they simply entrust everything to the CNN, expecting it to learn from a training dataset. However, in this paper, we propose a novel saliency-channel attention residual network based on the just-noticeable-difference (JND) concept for full-reference image quality assessments (FR-IQA). It is referred to as JND-SalCAR and shows significant improvements in large IQA datasets with various types of distortion. The proposed JND-SalCAR effectively learns how to incorporate human psychophysical characteristics, such as visual saliency and JND, into image quality predictions. In the proposed network, a SalCAR block is devised so that perceptually important features can be extracted with the help of saliency-based spatial attention and channel attention schemes. In addition, a saliency map serves as a guideline for predicting a patch weight map in order to afford stable training of end-to-end optimization for the JND-SalCAR. To the best of our knowledge, our work presents the first HVS-inspired trainable FR-IQA network that considers both visual saliency and the JND characteristics of the HVS. When the visual saliency map and the JND probability map are explicitly given as priors, they can be usefully combined to predict IQA scores rated by humans more precisely, eventually leading to performance improvements and faster convergence. The experimental results show that the proposed JND-SalCAR significantly outperforms all recent state-of-the-art FR-IQA methods on large IQA datasets in terms of the Spearman rank order coefficient (SRCC) and the Pearson linear correlation coefficient (PLCC).

연구 동기 및 목표

• 기존의 CNN 기반 IQA 모델이 시각적 주목성과 임계차별차이(JND)와 같은 인간 시각 시스템(HVS) 특성을 충분히 활용하지 못하는 한계를 해결하기 위해.
• HVS 사전 지식을 명시적으로 통합한 학습 가능한 종단 간(end-to-end) 딥러닝 프레임워크를 개발하기 위해.
• 패치 가중치 예측을 위한 주목성 맵을 활용해 학습의 안정성과 수렴성을 향상시키기 위해.
• 최신 기술 수준의 방법들에 비해 대규모 종단 간 FR-IQA 데이터셋에서 뛰어난 성능을 달성하기 위해.
• JND 확률 맵과 주목성 맵을 함께 사용하는 것이 예측 정확도와 모델의 강인성 향상에 기여함을 입증하기 위해.

제안 방법

• 시각적 주목성 맵을 기반으로 공간 주의와 채널 주의를 모두 적용하는 새로운 SalCAR 블록을 제안하여, 인지적으로 중요한 특징을 강조한다.
• 주목성 맵을 기반으로 한 가이드를 통해 JND-SalCAR 네트워크에서 종단 간 학습의 안정성을 높이기 위한 패치 가중치 맵 예측 기법을 도입한다.
• 인간의 인지 임계치를 모델링하기 위해 임계차별차이(JND) 개념을 활용하고, JND 확률 맵을 추가 사전 지식으로 통합한다.
• 다중 스케일에서 주의 메커니즘을 적용하여 특징 표현을 향상시키는 잔차 신경망 아키텍처를 설계한다.
• 학습 중에 명시적인 사전 지식(주목성 및 JND 맵)을 사용하여 인간 인지와의 일치도를 향상시키고 품질 예측을 최적화한다.
• 예측된 품질 점수와 인간 평가 점수 간의 차이를 최소화하는 손실 함수를 사용해 네트워크를 종단 간으로 학습시킨다.

실험 결과

연구 질문

• RQ1 시각적 주목성과 JND와 같은 인간 시각 시스템(HVS) 특성을 명시적으로 통합하면 딥러닝 기반 종단 간 이미지 품질 평가 성능이 향상되는가?
• RQ2 패치 가중치 학습을 위한 주목성 맵을 가이드로 사용할 경우, IQA 네트워크의 학습 안정성과 수렴성에 어떤 영향을 미치는가?
• RQ3 기본적인 CNN 기반 IQA 모델에 비해 JND와 주목성 사전 지식이 예측 정확도 향상에 얼마나 기여하는가?
• RQ4 학습 가능한 HVS에 영감을 받은 네트워크가 다양한 왜곡 유형에서 기존 최신 기술 수준의 FR-IQA 방법을 초월할 수 있는가?
• RQ5 JND 확률 맵과 주목성 맵을 함께 사용하면 IQA 작업에서 수렴 속도 향상과 더 나은 일반화 성능을 달성할 수 있는가?

주요 결과

• 제안된 JND-SalCAR 모델은 대규모 종단 간 IQA 데이터셋에서 최신 기술 수준의 성능을 달성하며, 최근의 모든 최신 기술 수준 모델을 능가한다.
• KADID-10K 데이터셋에서 스피어만 순서 상관계수(SRCC)는 0.948, 피어슨 선형 상관계수(PLCC)는 0.945를 기록한다.
• 주목성 및 JND 사전 지식의 통합은 이러한 사전 지식가 없는 기준 모델 대비 더 빠른 수렴과 더 안정적인 학습을 이끌어낸다.
• SalCAR 블록은 공간적 및 채널적 주의의 조합을 통해 인지적으로 중요한 특징을 효과적으로 강조함으로써 특징의 구분 능력을 향상시킨다.
• 패치 가중치 예측을 위한 주목성 맵을 가이드로 사용함으로써 품질 점수 회귀의 강인성과 정확도가 크게 향상된다.
• 모델는 다양한 왜곡 유형에 걸쳐 강력한 일반화 능력을 보이며, HVS에 영감을 받은 설계가 딥 IQA에서 효과적임을 확인한다.