[논문 리뷰] Deviation Based Pooling Strategies For Full Reference Image Quality Assessment

Hossein Ziaei Nafchi, Rachid Hedjam외 2명|arXiv (Cornell University)|2015. 04. 26.

Image and Video Quality Assessment참고 문헌 19인용 수 4

한 줄 요약

이 논문은 전체 기준 이미지 품질 평가(IQA)에서 표준편차(SD) 풀링과 평균 풀링의 보다 강건하고 효율적인 대안으로 평균 절대편차(MAD) 풀링을 제안한다. 실험 결과, 다양한 왜곡 유형에서 MAD 풀링이 SD 풀링보다 강건성을 확보하며, VSI 및 GMSD를 포함한 여러 IQA 모델에서 평균 풀링 및 SD 풀링보다 높은 성능을 달성하면서도 계산 효율성을 유지함을 보여준다.

ABSTRACT

The state-of-the-art pooling strategies for perceptual image quality assessment (IQA) are based on the mean and the weighted mean. They are robust pooling strategies which usually provide a moderate to high performance for different IQAs. Recently, standard deviation (SD) pooling was also proposed. Although, this deviation pooling provides a very high performance for a few IQAs, its performance is lower than mean poolings for many other IQAs. In this paper, we propose to use the mean absolute deviation (MAD) and show that it is a more robust and accurate pooling strategy for a wider range of IQAs. In fact, MAD pooling has the advantages of both mean pooling and SD pooling. The joint computation and use of the MAD and SD pooling strategies is also considered in this paper. Experimental results provide useful information on the choice of the proper deviation pooling strategy for different IQA models.

연구 동기 및 목표

• 기존의 풀링 전략—특히 표준편차(SD) 풀링에서 큰 편차에 대한 과도한 중시 문제—이 전체 기준 이미지 품질 평가(IQA)에서 야기하는 한계를 해결하기 위해.
• 평균 절대편차(MAD) 풀링이 평균 풀링 및 SD 풀링에 비해 IQA 모델에서 효과성, 강건성, 효율성 측면에서 얼마나 우수한지 평가하기 위해.
• 특정 IQA 모델에서 MAD 및 SD 풀링 전략을 병합하면 성능 향상이 이루어지는지 조사하기 위해.
• 왜곡 유형 및 데이터셋에 따른 성능 기반으로 다양한 IQA 모델에 최적의 편차 기반 풀링 전략을 선택하는 데 실증적 지침을 제공하기 위해.

제안 방법

• 표준편차(SD) 풀링 대비 큰 오차에 대한 과도한 중시를 줄이기 위해, 평균으로부터의 절대편차 평균으로 계산되는 편차 기반 전략인 평균 절대편차(MAD) 풀링을 제안한다.
• 하나의 초모수 α로 제어되는 가중 조합을 통해 MAD와 SD를 동시에 계산하는 병합 편차 풀링 전략(DD 풀링)을 도입한다.
• 위상일관성, 기울기, 대trast 등의 이미지 특징에서 유도된 局부 유사성 맵을 사용하여, SSIM, FSIM, GS, GMSD, VSI 등의 기존 IQA 모델에 MAD, SD, DD 풀링을 적용한다.
• 기준 데이터셋(TID2013, TID2008, CSIQ)에서 표준 평가 지표(SROCC, KROCC, PCC, SRC)를 사용하여 풀링 전략 간 성능을 비교한다.
• 편차 풀링을 일반화된 산점 측도로 형식화하기 위해 민코프스키 거리 프레임워크를 사용하며, 이때 ρ=1은 MAD에 해당하고 ρ=2는 SD에 해당한다.
• 표준 CPU에서의 런타임 분석을 통해 계산 효율성을 평가하며, MAD, SD, 그리고 병합된 MAD+SD(DD) 풀링 간의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 평균 절대편차(MAD) 풀링은 IQA에서 다양한 이미지 왜곡에 대해 표준편차(SD) 풀링보다 더 높은 강건성과 정확성을 제공하는가?
• RQ2 다양한 IQA 모델에서 MAD 풀링은 평균 풀링 및 가중 평균 풀링 대비 성능 및 신뢰성 측면에서 어떻게 비교되는가?
• RQ3 MAD 및 SD 풀링의 병합 사용(DD 풀링)은 특정 IQA 모델에서 개별 전략을 초월해 성능 향상을 이끌 수 있는가?
• RQ4 MAD 풀링은 SD 풀링보다 계산적으로 더 효율적인가? 그리고 계산 비용을 줄이면서도 높은 성능을 유지하는가?
• RQ5 어떤 IQA 모델이 MAD 풀링에서 가장 큰 이점을 얻는가? VSI, GMSD, FSIM 등의 모델에 대해 최적의 풀링 전략은 무엇인가?

주요 결과

• MAD 풀링은 특히 개별 왜곡 유형에서 SD 풀링보다 강건성을 확보하며, VSI의 경우 최소 SRC 값이 0.4564로 나타나 SD 풀링의 0.1713보다 높다.
• VSI 지표에서 MAD 풀링은 왜곡 유형별 평균 예측 성능을 1.8910% 향상시켰고, TID2013에서 전체 SROCC 및 PCC 지표가 약간 감소했음에도 불구하고 최소 품질 예측을 높였다.
• GMSD에 MAD 풀링(GMS_MAD)을 적용한 경우 원본 GMSD(SD 기반)보다 빠르며, 왜곡 유형에 대한 성능도 더 뛰어나다.
• α=0.1인 병합 DD 풀링 전략(MAD+SD)은 VSI 및 GMS 지표에서 SD 풀링 단독 대비 더 높은 성능을 달성했으며, 왜곡 유형 간 강건성이 향상되었다.
• MAD 풀링은 SD 풀링보다 계산적으로 더 빠르며, 평균 풀링 다음으로 속도 순위 2위를 기록했고, MAD와 SD의 병합 계산도 효율성을 유지한다.
• SSIM에서는 MAD 풀링이 SD 풀링을 능가하지만, SD 풀링은 특정 왜곡에서 성능이 크게 떨어지므로, MAD의 뛰어난 강건성이 확인된다.