[논문 리뷰] A Multi-task convolutional neural network for blind stereoscopic image quality assessment using naturalness analysis

Salima Bourbia, Ayoub Karine외 2명|arXiv (Cornell University)|2021. 06. 17.

Image and Video Quality Assessment참고 문헌 27인용 수 9

한 줄 요약

이 논문은 자연스러움 기반 특징을 보조 작업으로 활용하여 품질 예측 성능을 햖스키는 참조 없음 스테레오 이미지 품질 평가(NR-SIQA)를 위한 다중 작업 컨볼루션 신경망을 제안한다. 이중 스트림 CNN 아키텍처를 통해 이중 및 디스parity 특징을 통합하고, 복소 웨이브렛 도메인에서 자연 장면 통계(NSS)를 사용함으로써, 특히 비대칭 왜곡에서 최신 기술 수준의 성능을 달성하며, LIVE PHASE I에서 PLCC 0.957, LIVE PHASE II에서 PLCC 0.921을 기록한다.

ABSTRACT

This paper addresses the problem of blind stereoscopic image quality assessment (NR-SIQA) using a new multi-task deep learning based-method. In the field of stereoscopic vision, the information is fairly distributed between the left and right views as well as the binocular phenomenon. In this work, we propose to integrate these characteristics to estimate the quality of stereoscopic images without reference through a convolutional neural network. Our method is based on two main tasks: the first task predicts naturalness analysis based features adapted to stereo images, while the second task predicts the quality of such images. The former, so-called auxiliary task, aims to find more robust and relevant features to improve the quality prediction. To do this, we compute naturalness-based features using a Natural Scene Statistics (NSS) model in the complex wavelet domain. It allows to capture the statistical dependency between pairs of the stereoscopic images. Experiments are conducted on the well known LIVE PHASE I and LIVE PHASE II databases. The results obtained show the relevance of our method when comparing with those of the state-of-the-art. Our code is available online on https://github.com/Bourbia-Salima/multitask-cnn-nrsiqa_2021.

연구 동기 및 목표

• 참조 이미지가 없는 참조 없음 스테레오 이미지 품질 평가(NR-SIQA) 문제를 해결하기 위해.
• 좌우 스테레오 뷰 간의 통계적 종속성을 활용하여 품질 예측 성능을 향상시키기 위해.
• 복소 웨이브렛 도메인에서 자연 장면 통계(NSS)를 활용한 자연스러움 분석 기반 보조 작업을 통해 특징 학습을 향상시키기 위해.
• 대칭 및 비대칭 왜곡 모두에 잘 일반화되는 강력한 딥 러닝 프레임워크를 개발하기 위해.
• 표준 평가 지표를 사용하여 표준 공개 데이터베이스(LIVE PHASE I 및 II)에서 방법의 효과성을 검증하기 위해.

제안 방법

• 이 방법은 두 가지 주요 작업을 수행하는 다중 작업 CNN을 활용한다: (1) 복소 웨이브렛 도메인에서 NSS를 사용하여 자연스러움 기반 특징을 예측하고, (2) 스테레오 이미지의 품질 점수를 예측한다.
• 특징은 네 개의 서브넷을 통해 추출된다: 좌우 뷰 전용 두 개의 서브넷(A 및 B), 조기 융합을 위한 하나(C), 후기 융합을 위한 하나(D)로, 이중 및 디스파리티 특성을 모두 캡처한다.
• 모델은 정규화된 32×32 이미지 패치를 사용하여 스트라이드 24로 훈련되며, 제한된 데이터셋에서의 과적합을 방지하고 강건성을 확보한다.
• 보조 작업인 자연스러움 특징 예측은 특징 연결을 통해 통합되어 주 품질 예측 작업의 성능을 향상시킨다.
• 최종 2048차원 특징 벡터는 품질 점수 회귀를 위한 다층 퍼셉트론에 입력된다.
• 모델은 훈련, 검증, 테스트 세트 간의 독립성을 확보하기 위해 60/20/20 분할 교차 검증 프로토콜을 사용하여 훈련된다.

실험 결과

연구 질문

• RQ1 복소 웨이브렛 도메인에서 유도된 자연 장면 통계(NSS) 기반의 자연스러움 특징이 참조 없음 스테레오 이미지 품질 평가에 기여하는가?
• RQ2 자연스러움 특징 예측을 보조 작업으로 통합함으로써 주 품질 예측 작업의 성능 향상이 이루어지는가?
• RQ3 제안된 다중 작업 CNN은 대칭 및 비대칭 왜곡 모두에서 최신 기술 수준의 방법들과 비교해 어떻게 성능을 내는가?
• RQ4 스테레오 쌍 간의 통계적 종속성이 품질 예측 성능 향상에 얼마나 기여하는가?
• RQ5 제안된 방법은 다양한 왜곡 유형과 데이터베이스(LIVE PHASE I 및 II)에 대해 강건한가?

주요 결과

• 제안된 방법은 LIVE PHASE I에서 PLCC 0.957, LIVE PHASE II에서 PLCC 0.921을 기록하여 기존 최고 수준의 방법들을 능가한다.
• LIVE PHASE I에서 SROCC는 0.942, LIVE PHASE II에서는 0.915를 기록하여 품질 예측의 강력한 단조성(모노톤성)을 보여준다.
• LIVE PHASE II에서 대칭 왜곡(0.918)과 비대칭 왜곡(0.896) 모두에서 최고의 SROCC를 기록하여 강건성을 입증한다.
• 절단 실험 결과 보조 자연스러움 특징 예측 작업을 제거할 경우 성능 저하가 발생함(PLCC가 LIVE PHASE I에서 0.953으로 감소), 이는 보조 작업의 효과성을 입증한다.
• 자연스러움 특징 예측의 RMSE는 LIVE PHASE I에서 0.391, LIVE PHASE II에서 0.416로 나타나 보조 작업의 정확한 성능을 보여준다.
• 비대칭 왜곡에 대해 이전 방법들이 성능을 낮게 평가하는 경향이 있는 데 비해, 본 모델은 이에 대해 뛰어난 일반화 성능을 보였다.