[논문 리뷰] No-Reference Image Quality Assessment via Feature Fusion and Multi-Task Learning

S. Alireza Golestaneh, Kris Kitani|arXiv (Cornell University)|2020. 06. 06.

Image and Video Quality Assessment참고 문헌 76인용 수 13

한 줄 요약

이 논문은 깊이 있는 백본(예: VGG16)에서 추출한 특징을 융합하여 이미지 품질 점수와 왜곡 유형을 동시에 예측하는 멀티태스크 학습 프레임워크인 QualNet을 제안한다. 왜곡 유형에 대한 감독 정보와 전용 특징 융합 메커니즘을 활용하여, 일곱 가지 다양한 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성하였으며, VGG19를 사용할 경우 LIVE-MD1 데이터셋에서 SROCC가 최대 0.925이고 LCC가 최대 0.945에 이를 수 있다.

ABSTRACT

Blind or no-reference image quality assessment (NR-IQA) is a fundamental, unsolved, and yet challenging problem due to the unavailability of a reference image. It is vital to the streaming and social media industries that impact billions of viewers daily. Although previous NR-IQA methods leveraged different feature extraction approaches, the performance bottleneck still exists. In this paper, we propose a simple and yet effective general-purpose no-reference (NR) image quality assessment (IQA) framework based on multi-task learning. Our model employs distortion types as well as subjective human scores to predict image quality. We propose a feature fusion method to utilize distortion information to improve the quality score estimation task. In our experiments, we demonstrate that by utilizing multi-task learning and our proposed feature fusion method, our model yields better performance for the NR-IQA task. To demonstrate the effectiveness of our approach, we test our approach on seven standard datasets and show that we achieve state-of-the-art results on various datasets.

연구 동기 및 목표

• 참고 이미지가 제공되지 않는 no-reference 이미지 품질 평가(NR-IQA) 문제에 대응하며, 스트리밍 및 소셜 미디어 플랫폼에서 필수적인 요구사항을 충족한다.
• 스크린 콘텐츠 및 HDR 이미지와 같은 다양한 이미지 유형에 대해 일반화 능력이 떨어지는 기존 수작업 특징 기반 방법의 한계를 극복한다.
• 멀티태스크 학습을 통해 품질 점수 회귀와 왜곡 유형 분류를 동시에 학습시켜 일반적인 NR-IQA 성능을 향상시킨다.
• 왜곡 특성 정보를 통합함으로써 품질 추정 성능을 향상시키는 특징 융합 메커니즘을 설계한다.
• 자연 이미지, 스크린 콘텐츠, HDR 처리된 이미지 등 다양한 이미지 도메인에서의 강인성과 일반화 능력을 입증한다.

제안 방법

• 이미지 패치에서 계층적 특징을 추출하기 위해 깊이 있는 합성곱 신경망(예: VGG16)을 백본으로 활용한다.
• 품질 점수 예측(MOS/DMOS)을 위한 하나의 헤드와 왜곡 유형 분류(JPEG, 블러, 노이즈 등)를 위한 다른 하나의 헤드를 갖춘 병렬 멀티태스크 학습 설정을 구현한다.
• 다양한 네트워크 레이어의 특징을 결합하여 양 과제에 대한 표현 학습을 향상시키는 특징 융합 모듈을 도입한다.
• 차원 감소와 일반화 성능 향상을 위해 품질 점수 회귀 헤드에서 1×1 컨볼루션과 전역 평균 풀링(GAP)을 사용한다.
• 품질 점수에 대한 회귀 손실과 왜곡 유형 분류에 대한 교차 엔트로피 손실을 조합한 손실 함수를 사용하여 모델을 엔드 투 엔드로 훈련한다.
• 입력으로 128×128 이미지 패치를 사용하며, 패치 크기, 옵티마이저(SGD 대비 Adam), 백본 깊이(VGG16 대비 VGG19)의 영향을 평가하기 위해 아블레이션 스터디를 수행한다.

실험 결과

연구 질문

• RQ1 품질 점수와 왜곡 유형의 동시 예측이 단일 과제 방법에 비해 no-reference 이미지 품질 평가 성능을 향상시키는가?
• RQ2 품질 및 왜곡 예측 헤드 간의 특징 융합이 다양한 왜곡 유형과 이미지 콘텐츠에 대한 일반화 능력을 향상시키는가?
• RQ3 백본 네트워크 선택(VGG16 대비 VGG19)과 입력 패치 크기의 선택이 모델 성능과 일반화에 미치는 영향은 무엇인가?
• RQ4 왜곡 유형 감독을 통한 멀티태스크 학습이 제한된 훈련 데이터에서 과적합을 줄이고 강인성을 향상시키는가?
• RQ5 제안된 방법이 자연 이미지 도메인 외의 영역, 예를 들어 스크린 콘텐츠나 HDR 처리된 이미지에 효과적으로 일반화되는가?

주요 결과

• 제안된 멀티태스크 모델(QualNet)은 VGG16를 사용하여 TID2013 데이터셋에서 SROCC 0.916, LCC 0.936을 기록하며, 단일 과제 및 비융합 멀티태스크 베이스라인을 모두 초월한다.
• 백본으로 VGG19를 사용할 경우 성능이 더욱 향상되어 LIVE-MD1 데이터셋에서 SROCC 0.925, LCC 0.945를 달성한다.
• 아블레이션 스터디 결과, 특징 융합이 성능 향상에 크게 기여하며, 융합이 없는 모델(예: 모델-e: SROCC 0.906, LCC 0.920)에 비해 제안된 모델(f)이 뛰어난 성능을 보인다.
• Adam 옵티마이저로 훈련한 모델이 SGD보다 더 우수한 일반화 성능을 보이며, TID2013 데이터셋에서 SROCC 0.916(Adam) 대비 0.909(SGD)로 높은 상관 계수를 기록한다.
• 작은 패치 크기에서는 성능 저하가 발생한다: SROCC는 128×128일 때 0.916에서 64×64일 때 0.891로, 32×32일 때 0.878로 감소하여 더 큰 패치가 더 많은 구조적 정보를 유지함을 시사한다.
• 왜곡 유형 예측 정확도가 SIQAD에서 최대 98%에 이를 정도로 높아, 왜곡 특성의 효과적인 분리가 이루어졌음을 입증한다.