[논문 리뷰] A study of deep perceptual metrics for image quality assessment

Rémi Kazmierczak, Gianni Franchi외 3명|arXiv (Cornell University)|2022. 02. 17.

Image and Video Quality Assessment인용 수 6

한 줄 요약

이 논문은 다중 해상도 특징을 통합하여 깊이 신경망의 여러 층에서 추출한 특징을 활용하는 다중 해상도 인지적 지표(MR-Perceptual)를 제안한다. 다양한 왜곡 상황에서 기존의 표준 인지적 지표를 능가하며, 감독 학습과 다중 해상도 특징 융합이 인간의 인지와 더 잘 일치함을 입증한다.

ABSTRACT

Several metrics exist to quantify the similarity between images, but they are inefficient when it comes to measure the similarity of highly distorted images. In this work, we propose to empirically investigate perceptual metrics based on deep neural networks for tackling the Image Quality Assessment (IQA) task. We study deep perceptual metrics according to different hyperparameters like the network's architecture or training procedure. Finally, we propose our multi-resolution perceptual metric (MR-Perceptual), that allows us to aggregate perceptual information at different resolutions and outperforms standard perceptual metrics on IQA tasks with varying image deformations. Our code is available at https://github.com/ENSTA-U2IS/MR_perceptual

연구 동기 및 목표

• 딥 신경망 기반의 깊이 인지 지표가 이미지 품질 평가(IQA)에 얼마나 효과적인지 조사하는 것.
• 다양한 DNN 아키텍처, 학습 절차, 하이퍼파라미터가 인지 유사도 추정에 미치는 영향을 평가하는 것.
• 다양한 이미지 왜곡 상황에서 인간의 인지와 더 잘 일치하는 일반 목적의 인지 지표를 개발하는 것.
• IQA 작업에 최적화된 특징 추출 전략과 정규화 기법을 규명하는 것.

제안 방법

• 다양한 아키텍처(예: AlexNet, ResNet50)를 갖춘 딥 신경망(DNN)을 사용하여 인지 지표를 경험적으로 평가한다.
• 두 가지 특징 추출 전략을 적용: 특징 맵의 선형 연결과 그람 행렬을 통한 이차 특징.
• 원본 이미지와 ×2로 업샘플링된 이미지를 다중 해상도 입력으로 사용하여 다양한 척도의 인지 정보를 포착한다.
• 잠재 공간 내에서 깊이 특징 간의 L2 거리를 이질성 측도로 활용한다.
• 다양한 사전 훈련 전략(감독 학습, 자기지도 학습(SimCLR, MoCo, DINO), 무작위 초기화)을 비교한다.
• 다양한 블록과 해상도에서 특징을 융합하는 다중 해상도 인지 손실을 제안하여 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 다양한 DNN 아키텍처가 IQA에서 인지 지표 성능에 어떤 영향을 미치는가?
• RQ2 학습 절차(감독 학습 대비 자기지도 학습 대비 무작위 초기화)가 인지 지표 품질에 어떤 영향을 미치는가?
• RQ3 선형 대비 이차 특징 추출 전략 중 어느 것이 더 나은 인지 유사도 추정을 가능하게 하는가?
• RQ4 다중 해상도 입력이 인지 지표의 강건성과 정확도에 어떤 영향을 미치는가?
• RQ5 다양한 유형의 이미지 왜곡에 대해 가장 분류 능력이 뛰어난 특징을 제공하는 네트워크 레이어는 어디인가?

주요 결과

• ImageNet에서의 감독 학습은 모든 IQA 벤치마크에서 자기지도 학습 및 무작위 초기화보다 일관되게 뛰어나며, 평균 점수 66.92를 기록하여 다음으로 높은 성능을 보인 방법의 65.30보다 높다.
• AlexNet의 4번째 및 5번째 레이어가 'Trad' 왜곡 세트에서 최고의 성능을 보이며, 'CNN', 'SuperRes', 'Deblur', 'Color' 세트에서는 더 이른 레이어(2~3번째)가 최고 성능을 기록한다.
• 제안된 MR-Perceptual 지표는 2AFC 벤치마크에서 평균 69.8%의 점수를 기록하여 Watching, Split-Brain, Puzzle, BiGAN을 포함한 모든 베이스라인을 초월한다.
• 다중 해상도 특징 융합은 모든 왜곡 유형에서 단일 해상도 설정보다 성능을 크게 향상시킨다.
• 이차 특징(Gram 행렬을 통한)과 다중 통계 융합은 특정 왜곡에 대해 성능 향상에 기여한다.
• 자기지도 학습의 발전에도 불구하고, 감독 사전 훈련이 여전히 인지 IQA에 가장 효과적인 전략이다.