[논문 리뷰] On the Computation of PSNR for a Set of Images or Video

Onur Keleş, M. Akın Yılmaz외 3명|arXiv (Cornell University)|2021. 04. 30.

Image and Signal Denoising Methods인용 수 4

한 줄 요약

이 논문은 학습된 이미지 및 비디오 복원 및 압축 연구에서 이미지 및 비디오 세트 간의 PSNR를 계산하는 데 사용되는 다양한 방법을 조사하고 비교하며, 특히 MSE 값의 분포가 지수적일 때, 산술 평균과 기하 평균 간의 선택이 보고된 PSNR에 상당한 영향을 미친다는 것을 보여준다. 주요 기여는 일관된 PSNR 보고를 위한 명확한 프레임워크로, 연구 공동체가 공정한 비교를 가능하게 하기 위해 계산 방법을 명시적으로 문서화할 것을 당부한다.

ABSTRACT

When comparing learned image/video restoration and compression methods, it is common to report peak-signal to noise ratio (PSNR) results. However, there does not exist a generally agreed upon practice to compute PSNR for sets of images or video. Some authors report average of individual image/frame PSNR, which is equivalent to computing a single PSNR from the geometric mean of individual image/frame mean-square error (MSE). Others compute a single PSNR from the arithmetic mean of frame MSEs for each video. Furthermore, some compute the MSE/PSNR of Y-channel only, while others compute MSE/PSNR for RGB channels. This paper investigates different approaches to computing PSNR for sets of images, single video, and sets of video and the relation between them. We show the difference between computing the PSNR based on arithmetic vs. geometric mean of MSE depends on the distribution of MSE over the set of images or video, and that this distribution is task-dependent. In particular, these two methods yield larger differences in restoration problems, where the MSE is exponentially distributed and smaller differences in compression problems, where the MSE distribution is narrower. We hope this paper will motivate the community to clearly describe how they compute reported PSNR values to enable consistent comparison.

연구 동기 및 목표

• 학습된 이미지/비디오 복원 및 압축 연구에서 이미지 및 비디오 데이터셋 간의 PSNR 계산에서 발생하는 모순을 조사하고 명확히 하기.
• 두 가지 주요 방법을 비교하기: 개별 PSNR 값을 평균내는 것(즉, MSE의 기하 평균)과 산술 평균 MSE에서 PSNR를 계산하는 것.
• 이 두 방법 간의 차이가 MSE 값의 분포에 따라 달라지며, 이는 작업 유형(예: 복원 대비 압축)에 따라 달라진다는 것을 보여주기.
• 다양한 모델과 데이터셋 간의 평가를 공정하고 일관되게 가능하게 하기 위해 PSNR 계산 방법의 표준화 및 투명한 보고를 주장하기.

제안 방법

• 두 가지 PSNR 추정 방법을 제안: 개별 이미지/프레임의 MSE 기하 평균에 기반한 PSNR(개별 PSNR 평균과 동일)와 MSE 산술 평균에 기반한 PSNR.
• 제닝스 부등식을 사용하여 이론적으로 PSNR(기하 평균)가 항상 MSE 산술 평균에 기반한 PSNR보다 크거나 같음을 입증.
• MSE 산술 평균과 기하 평균의 비율을 사용하여 두 PSNR 추정치 간의 정량적 차이를 분석.
• 다양한 작업에서의 MSE 분포 모델링: 복원/초해상도(SR) 작업에서는 지수 분포(예: EDSR, EDVR), 압축 작업에서는 더 좁은 분포(예: H.264, H.265).
• 실제 데이터셋(UVG, MPEG)을 사용하여 이론적 결과를 검증하고, 여러 작업에서 PSNR-1(PSNR 산술 평균), PSNR-2(MSE 산술 평균), PSNR-3(MSE 기하 평균)를 비교.
• 일致성을 위해 먼저 각 이미지 또는 비디오 샘플의 MSE를 계산한 후, MSE 산술 평균에서 유도된 PSNR를 보고하는 것이 바람직하며, 특히 다중 비디오 평가에서 그러한 방법을 권장.

실험 결과

연구 질문

• RQ1 이미지 및 비디오 세트에 대해 실용적으로 산술 평균 MSE와 기하 평균 MSE 간의 PSNR 계산 방법은 어떻게 비교될 수 있는가?
• RQ2 MSE 분포(예: 지수적 vs. 좁은 분포)가 PSNR 추정치 간의 차이에 어떤 영향을 미치는가?
• RQ3 동일한 모델에서 다양한 계산 방법을 사용할 경우 보고된 PSNR 값이 상당히 다름에도 불구하고 그 이유는 무엇인가?
• RQ4 비디오 시퀀스에서 개별 프레임의 PSNR로 계산된 PSNR와 평균 MSE에서 계산된 PSNR는 어떻게 비교될 수 있는가?
• RQ5 학습된 이미지 및 비디오 처리 작업에서 PSNR를 보고하는 데 있어 공정한 비교를 보장하기 위한 최선의 실천 방법은 무엇인가?

주요 결과

• MSE 값의 분산이 클수록 산술 평균 MSE 기반 PSNR와 기하 평균 MSE 기반 PSNR 간의 차이가 커지며, 이는 이미지 복원 및 초해상도 작업에서 흔하다.
• 복원 작업(예: EDSR, EDVR)에서는 MSE 값이 지수 분포를 띠므로, PSNR-1(PSNR 산술 평균)과 PSNR-3(MSE 기하 평균) 간의 차이가 상당히 클 수 있으며, 일부 경우 최대 1.3 dB까지 발생할 수 있다.
• 비디오 압축 작업(예: H.264, H.265)에서는 MSE 분포가 더 좁기 때문에 PSNR 추정치 간의 차이가 작으며, 일반적으로 0.2 dB 이하이다.
• MPEG 데이터셋의 다음 프레임 예측 작업에서 PSNR-1(PSNR 산술 평균)은 32.88 dB, PSNR-2(MSE 산술 평균)는 30.03 dB, PSNR-3(MSE 기하 평균)는 29.08 dB였으며, PSNR-1과 PSNR-3 사이에 1.8 dB의 격차가 있었다.
• MSE 분포가 지수적임을 가정한 이론적 예측값이 실증 결과와 밀도적으로 일치하여, 모델의 정확성을 검증하였다.
• 논문은 비디오 세트의 모든 프레임에 대해 프레임 단위 PSNR를 평균내는 것은 기술적으로 타당하지 않으며, 운동 특성이 다른 비디오 간의 PSNR 범위 변화를 고려하지 못한다는 결론을 내린다.