[論文レビュー] On the Computation of PSNR for a Set of Images or Video

Onur Keleş, M. Akın Yılmaz+3 more|arXiv (Cornell University)|Apr 30, 2021

Image and Signal Denoising Methods被引用数 4

ひとこと要約

本論文は、画像および動画の集合におけるPSNRを計算するためのさまざまな手法を調査・比較し、MSE値の算術平均と幾何平均の選択が、とくにMSE分布が指数的である画像修復タスクにおいて報告されるPSNRに顕著な影響を及ぼすことを示している。主な貢献は、一貫したPSNR報告のための明確なフレームワークを提示し、学習された画像・動画処理手法間の公平な比較を可能にするために、コミュニティが計算手法を明示的に文書化するよう促すことにある。

ABSTRACT

When comparing learned image/video restoration and compression methods, it is common to report peak-signal to noise ratio (PSNR) results. However, there does not exist a generally agreed upon practice to compute PSNR for sets of images or video. Some authors report average of individual image/frame PSNR, which is equivalent to computing a single PSNR from the geometric mean of individual image/frame mean-square error (MSE). Others compute a single PSNR from the arithmetic mean of frame MSEs for each video. Furthermore, some compute the MSE/PSNR of Y-channel only, while others compute MSE/PSNR for RGB channels. This paper investigates different approaches to computing PSNR for sets of images, single video, and sets of video and the relation between them. We show the difference between computing the PSNR based on arithmetic vs. geometric mean of MSE depends on the distribution of MSE over the set of images or video, and that this distribution is task-dependent. In particular, these two methods yield larger differences in restoration problems, where the MSE is exponentially distributed and smaller differences in compression problems, where the MSE distribution is narrower. We hope this paper will motivate the community to clearly describe how they compute reported PSNR values to enable consistent comparison.

研究の動機と目的

• 学習された画像／動画修復および圧縮研究における、画像／動画データセットにおけるPSNR計算の不一致を調査・明確化すること。
• 2つの主要な手法を比較すること：個々のPSNR値を平均化する（MSEの幾何平均に相当）方法と、MSEの算術平均からPSNRを計算する方法。
• これらの手法の差が、タスクによって異なるMSE値の分布（例：修復対比圧縮）に依存することを示すこと。
• 異なるモデルやデータセット間での評価を公平かつ一貫性を持って行えるよう、PSNR計算手法の標準化と透明な報告を提唱すること。

提案手法

• 2つのPSNR推定手法を提案：個々の画像／フレームのMSEの幾何平均に基づくPSNR（個々のPSNRの平均に相当）と、MSEの算術平均に基づくPSNR。
• ジェンセンの不等式を用いて理論的に、PSNR（幾何平均）がMSEの算術平均に基づくPSNR以上であることを確立する。
• MSEの算術平均と幾何平均の比を用いて、2つのPSNR推定値の定量的差を分析する。
• 異なるタスクにおけるMSE分布のモデル化：修復／超解像（例：EDSR、EDVR）では指数的分布、圧縮（例：H.264、H.265）では分布が狭い。
• 実データセット（UVG、MPEG）を用いて理論的発見を検証し、PSNR-1（PSNRの算術平均）、PSNR-2（MSEの算術平均）、PSNR-3（MSEの幾何平均）を複数のタスクで比較する。
• 一貫性を確保するため、まず各画像または動画サンプルごとにMSEを計算し、その後MSEの算術平均からPSNRを報告することを推奨する。特に複数の動画を評価する際には特に有効である。

実験結果

リサーチクエスチョン

• RQ1 画像および動画の集合において、MSEの算術平均と幾何平均のPSNR計算手法は、実際にはどのように比較されるか？
• RQ2 MSE分布（例：指数的対比狭い分布）が、PSNR推定値の差に与える影響は何か？
• RQ3 同じモデルで異なる計算手法が用いられた場合、なぜ報告されるPSNR値に顕著な差が生じるのか？
• RQ4 動画シーケンスにおいて、個々のフレームのPSNRから計算されたPSNRと、平均MSEから計算されたPSNRはどのように比較されるか？
• RQ5 学習された画像および動画処理タスクにおけるPSNR報告の最良の実践法は何か？公平な比較を保証するには？

主な発見

• MSE値の分散が高くなるほど、MSEの算術平均に基づくPSNRとMSEの幾何平均に基づくPSNRの差が大きくなる。これは、画像修復および超解像タスクで一般的に見られる。
• MSE値が指数的分布を示す修復タスク（例：EDSR、EDVR）では、PSNR-1（PSNRの算術平均）とPSNR-3（MSEの幾何平均）の差が顕著で、場合によっては最大1.3 dBに達する。
• MSE分布が狭い動画圧縮タスク（例：H.264、H.265）では、PSNR推定値の差が小さく、通常0.2 dB未満である。
• MPEGデータセットにおける次フレーム予測では、PSNR-1（PSNRの算術平均）は32.88 dB、PSNR-2（MSEの算術平均）は30.03 dB、PSNR-3（MSEの幾何平均）は29.08 dBであり、PSNR-1とPSNR-3の差は1.8 dBに達した。
• MSE分布（指数的）に基づくPSNR差の理論的予測が、実測結果とよく一致しており、モデルの正確性が裏付けられた。
• 本論文は、動画セットの全フレームに対してPSNRを逐次平均化することは技術的に妥当ではないと結論づける。なぜなら、運動特性が異なる動画間でPSNRの範囲が異なるにもかかわらず、それを考慮しないからである。