[논문 리뷰] JND-SalCAR: A Novel JND-based Saliency-Channel Attention Residual Network for Image Quality Prediction

Soomin Seo, Sehwan Ki외 1명|arXiv (Cornell University)|2019. 02. 14.

Image and Video Quality Assessment인용 수 2

한 줄 요약

이 논문은 인간 시각 시스템(HVS)의 특성—특히 시각적 주목성과 정상적으로 구분할 수 있는 최소 차이(JND)—를 학습 가능한 잔차 신경망에 통합한 새로운 딥러닝 프레임워크인 JND-SalCAR를 제안한다. 시각적 주목성 지도에 따라 유도되는 공간적 및 채널적 주목성과 함께 주목성 지도를 패치 가중치 가이드로 사용함으로써, 모델은 대규모 IQA 데이터셋에서 기존 방법을 능가하는 최신 기술 수준의 성능을 달성하며, 인지적 중요도와 인간의 감도 임계치를 효과적으로 모델링한다.

ABSTRACT

In image quality enhancement processing, it is the most important to predict how humans perceive processed images since human observers are the ultimate receivers of the images. Thus, objective image quality assessment (IQA) methods based on human visual sensitivity from psychophysical experiments have been extensively studied. Thanks to the powerfulness of deep convolutional neural networks (CNN), many CNN based IQA models have been studied. However, previous CNN-based IQA models have not fully utilized the characteristics of human visual systems (HVS) for IQA problems by simply entrusting everything to CNN where the CNN-based models are often trained as a regressor to predict the scores of subjective quality assessment obtained from IQA datasets. In this paper, we propose a novel JND-based saliency-channel attention residual network for image quality assessment, called JND-SalCAR, where the human psychophysical characteristics such as visual saliency and just noticeable difference (JND) are effectively incorporated. We newly propose a SalCAR block so that perceptually important features can be extracted by using a saliency-based spatial attention and a channel attention. In addition, the visual saliency map is further used as a guideline for predicting the patch weight map in order to afford a stable training of end-to-end optimization for the JND-SalCAR. To our best knowledge, our work is the first HVS-inspired trainable IQA network that considers both the visual saliency and JND characteristics of HVS. We evaluate the proposed JND-SalCAR on large IQA datasets where it outperforms all the recent state-of-the-art IQA methods.

연구 동기 및 목표

• 기존의 CNN 기반 IQA 모델이 시각적 주목성과 정상적으로 구분할 수 있는 최소 차이(JND)와 같은 인간 시각 시스템(HVS) 특성을 충분히 활용하지 못하는 한계를 해결하기 위해.
• HVS의 심리물리적 원리를 명시적으로 통합한 학습 가능한 종단 간(end-to-end) 딥러닝 프레임워크를 개발하기 위해.
• 패치 가중치 예측을 위한 시각적 주목성 지도를 사용하여 학습의 안정성과 인지적 관련성을 향상시키기 위해.
• 인지적으로 중요한 공간 영역과 특징 채널을 동시에 강조하는 새로운 주목성 메커니즘을 설계하기 위해.
• 인간의 인지적 품질 평가와 더 정확히 일치시키기 위해 인간의 인지 특성을 더 잘 모델링함으로써, 대규모 이미지 품질 평가 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 시각적 주목성 지도에 기반한 공간적 주목성과 채널 주목성을 조합한 새로운 SalCAR 블록을 제안하여 인지적으로 중요한 특징을 강조한다.
• 사용자 인지 감도 임계치와 일치하도록 네트워크 예측을 조정하는 JND 기반 손실 함수를 도입하여 미세한 왜곡에 대한 감도를 향상시킨다.
• 학습 중에 패치 단위의 가중치를 생성하기 위해 시각적 주목성 지도를 동적 가이드로 사용하여 종단 간 최적화의 안정성을 높인다.
• 잔차 신경망 아키텍처를 활용하여 깊은 특징 학습을 가능하게 하면서 기울기 흐름과 학습 안정성을 유지한다.
• 품질 평가에 핵심적인 공간적 및 채널적 인지 정보를 유지하는 다중 척도 특징 추출 모듈을 설계한다.
• 사용자 주관적 품질 점수와의 일치를 보장하기 위해 JND 인식 보조를 갖춘 회귀 손실을 사용하여 전체 네트워크를 종단 간으로 훈련시킨다.

실험 결과

연구 질문

• RQ1 시각적 주목성과 정상적으로 구분할 수 있는 최소 차이(JND)와 같은 인간 시각 시스템(HVS) 특성을 딥러닝 프레임워크에 통합하면 이미지 품질 평가 성능이 향상되는가?
• RQ2 주목성에 기반한 주목성 메커니즘은 품질 예측 과정에서 인지적으로 중요한 이미지 영역에 집중하는 모델의 능력을 어떻게 향상시키는가?
• RQ3 패치 가중치 예측을 위한 시각적 주목성 지도의 사용이 종단 간 IQA 네트워크에서 학습 안정성과 일반화 능력 향상에 어느 정도 기여하는가?
• RQ4 공간적 및 채널적 주목성을 동시에 고려하는 새로운 주목성 메커니즘(SalCAR)은 기존의 주목성 모듈보다 IQA 작업에서 더 나은 성능을 내는가?
• RQ5 HVS에 영감을 받은 학습 가능한 IQA 모델은 대규모 실세계 IQA 데이터셋에서 기존의 최신 기술 수준 모델을 능가할 수 있는가?

주요 결과

• JND-SalCAR는 다양한 대규모 이미지 품질 평가 데이터셋에서 최신 기술 수준의 성능을 달성하며, 최근의 모든 SOTA 방법을 능가한다.
• 시각적 주목성과 JND 특성의 통합은 모델이 인지적으로 중요한 왜곡에 대해 훨씬 민감하게 반응하도록 크게 향상시킨다.
• 주목성에 기반한 패치 가중치 메커니즘은 종단 간 최적화 과정에서 학습의 안정성과 수렴성을 향상시킨다.
• SalCAR 블록은 공간적 및 채널적 인지 중요도를 효과적으로 포착하여 더 정확한 품질 예측을 가능하게 한다.
• 모델는 인간의 시각 인지 특성을 명시적으로 모델링함으로써 다양한 왜곡에 대해 뛰어난 일반화 능력을 보여준다.
• 정량적 결과는 기존 방법 대비 SROCC 및 PLCC 지표에서 일관된 향상을 보이며, 사용자 주관적 품질 점수를 예측하는 데의 효과성을 확인한다.