[論文レビュー] A Formal Evaluation of PSNR as Quality Measurement Parameter for Image Segmentation Algorithms

Fernando A. Fardo, Victor H. Conforto+2 more|arXiv (Cornell University)|May 23, 2016

Industrial Vision Systems and Defect Detection被引用数 43

ひとこと要約

本稿は、Berkeley BSR300データセットの正解マスクを用いて、画像セグメンテーションアルゴリズムの品質指標としてのピークサイナールイズ比（PSNR）を評価する。人為的に劣化させた（悪い）マスクと、人間によるアノテーション（理想的な）セグメンテーションマスクとの間でPSNR値を比較した結果、PSNRは劣化したセグメンテーションをより高い品質と評価し続けることが判明した。これは、PSNRが画像処理分野で広く用いられているものの、セグメンテーション評価には信頼できないことを示している。

ABSTRACT

Quality evaluation of image segmentation algorithms are still subject of debate and research. Currently, there is no generic metric that could be applied to any algorithm reliably. This article contains an evaluation for the PSRN (Peak Signal-To-Noise Ratio) as a metric which has been used to evaluate threshold level selection as well as the number of thresholds in the case of multi-level segmentation. The results obtained in this study suggest that the PSNR is not an adequate quality measurement for segmentation algorithms.

研究の動機と目的

• 画像セグメンテーションアルゴリズムを評価する分析的指標としてのPSNRの信頼性を評価すること。
• PSNRが高品質と低品質のセグメンテーション結果を客観的に区別できるかを特定すること。
• 人間による正解マスクと整合性のないにもかかわらず、しきい値ベースのセグメンテーション研究で広く使われているPSNRの使用を疑問視すること。
• 人間による正解マスクと比較した場合、PSNRが真のセグメンテーション品質を反映していないことを統計的証拠で示すこと。

提案手法

• 人間による正解マスクが付与された300枚の画像を含むBerkeley BSR300データベースを用いた。
• 正解画像内の閉じた輪郭を埋めることで、理想的なセグメンテーションマスク（バイナリの前景/背景マスク）を生成した。
• 正解マスクにランダムしきい値を適用することで、人工的に劣悪なセグメンテーションマスクを生成し、悪いセグメンテーション結果を模擬した。
• 各理想的なマスクと対応する正解マスク、および各劣悪なマスクと正解マスクとの間でPSNRを計算した。
• 良好なマスクと不良なマスクからのPSNR値の分散の均一性を評価するためにフィッシャーのF検定を適用した。
• 有意水準95％で、良好なマスクと不良なマスクからのPSNR値の平均を比較するため、ウェルチのT検定を用いた。

実験結果

リサーチクエスチョン

• RQ1 PSNRは、高品質と低品質の画像セグメンテーション結果を信頼性を持って区別できるか？
• RQ2 理想的なセグメンテーションマスクと人工的に劣化させたマスクとの間で、PSNR値に統計的に有意な差があるか？
• RQ3 PSNRは、人間による正解マスクよりも誤ったセグメンテーション結果を系統的に高く評価するか？
• RQ4 良好なマスクと不良なマスクからのPSNR値の分散構造は、パラメトリック検定を正当化するほど十分に異なるか？

主な発見

• F検定の結果、良好なマスクと不良なマスクからのPSNR値の分散は著しく非均一であり、ウェルチのT検定をStudentのt検定よりも適切に用いる根拠が得られた。
• ウェルチのT検定のp値は4.735×10⁻¹⁴であり、帰無仮説が棄却され、不良マスクのPSNR値が良好マスクのそれよりも顕著に高いという強い証拠が得られた。
• 不良セグメンテーションマスクの平均PSNR（6.740）は、良好マスクの平均PSNR（5.639）よりも顕著に高く、PSNRが劣悪な結果を好む傾向にあることが示された。
• 平均の差の信頼区間はすべて負であったため、不良マスクのPSNRが一貫して高いことが確認された。
• 結果として、PSNRは人間による正解マスクと一致しないため、セグメンテーションアルゴリズムの評価には有効ではないことが示された。
• 画像圧縮や伝送分野では有用であるが、PSNRはセグメンテーション評価には不適切であり、セグメンテーション品質の順序付けが直感に反するからである。