[논문 리뷰] A Formal Evaluation of PSNR as Quality Measurement Parameter for Image Segmentation Algorithms

Fernando A. Fardo, Victor H. Conforto외 2명|arXiv (Cornell University)|2016. 05. 23.

Industrial Vision Systems and Defect Detection인용 수 43

한 줄 요약

이 논문은 베를린 BSR300 데이터셋의 기준 마스크를 사용하여 영상 분할 알고리즘의 품질 평가 지표로 PSNR(피크 신호 대 잡음 비)를 평가한다. 인간이 수작업으로 작성한(이상적인) 분할 마스크와 인위적으로 열악하게 손상된(열 劣한) 마스크 간의 PSNR 값을 비교함으로써, 연구는 PSNR가 열 劣한 분할 결과를 더 높은 품질로 평가하는 경향이 있음을 발견한다. 이는 PSNR가 영상 처리 분야에서 널리 사용되지만 분할 평가에 있어서 신뢰할 수 없다는 것을 시사한다.

ABSTRACT

Quality evaluation of image segmentation algorithms are still subject of debate and research. Currently, there is no generic metric that could be applied to any algorithm reliably. This article contains an evaluation for the PSRN (Peak Signal-To-Noise Ratio) as a metric which has been used to evaluate threshold level selection as well as the number of thresholds in the case of multi-level segmentation. The results obtained in this study suggest that the PSNR is not an adequate quality measurement for segmentation algorithms.

연구 동기 및 목표

• 이미지 분할 알고리즘 평가를 위한 분석 지표로서 PSNR의 신뢰성 평가
• PSNR가 높은 품질과 낮은 품질의 분할 결과를 객관적으로 구분할 수 있는지 확인
• 인간이 검증한 기준 마스크와의 부합이 없음에도 불구하고 임계치 기반 분할 연구에서 PSNR가 널리 사용되고 있는 데에 도전
• 인간이 검증한 기준 마스크와 비교했을 때 PSNR가 실제 분할 품질을 반영하지 못함을 통계적으로 입증

제안 방법

• 인간이 수작업으로 기준 마스크를 제공하는 베를린 BSR300 데이터베이스 사용
• 기준 이미지의 닫힌 윤곽선을 채워 이진 전경/배경 마스크로 이상적인 분할 마스크 생성
• 기준 마스크에 무작위 임계치를 적용하여 열 劣한 분할 마스크를 인위적으로 생성하여 열 劣한 분할 결과를 시뮬레이션
• 각 이상적인 마스크와 기준 마스크 간, 각 열 劣한 마스크와 기준 마스크 간의 PSNR 계산
• 좋은 마스크와 나쁜 마스크에서 유도된 PSNR 값 간 분산의 동질성 여부를 평가하기 위해 피셔의 F-검정 수행
• 유의수준 95%로, 좋은 마스크와 나쁜 마스크에서 유도된 PSNR 평균을 비교하기 위해 웰치의 T-검정 수행

실험 결과

연구 질문

• RQ1 PSNR는 높은 품질과 낮은 품질의 영상 분할 결과를 신뢰성 있게 구분할 수 있는가?
• RQ2 이상적인 분할 마스크와 인위적으로 열 劣한 마스크 간의 PSNR 값에 통계적으로 유의미한 차이가 있는가?
• RQ3 PSNR는 인간이 검증한 기준 마스크보다 잘못된 분할 결과를 체계적으로 선호하는가?
• RQ4 좋은 마스크와 나쁜 마스크에서 유도된 PSNR 값의 분산 구조가 서로 충분히 다를 정도로 다를 수 있는가, 따라서 파rametric 검정을 정당화할 수 있는가?

주요 결과

• F-검정 결과, 좋은 마스크와 나쁜 마스크에서 유도된 PSNR 값 간 분산이 유의미하게 비동질적이지 않음을 확인하여, 웰치의 T-검정을 슈도-학생의 t-검정보다 우선적으로 사용할 근거가 마련됨.
• 웰치의 T-검정에서 p-값은 4.735×10⁻¹⁴로 도출되어 귀무가설을 기각하고, 나쁜 마스크의 PSNR 값이 좋은 마스크의 PSNR 값보다 유의미하게 높다는 강력한 증거를 제공함.
• 나쁜 분할 마스크의 평균 PSNR(6.740)는 좋은 마스크의 평균 PSNR(5.639)보다 유의미하게 높으며, 이는 PSNR가 열 劣한 결과를 선호함을 시사함.
• 두 평균의 차이에 대한 신뢰구간은 전적으로 음수이므로, 나쁜 마스크의 PSNR가 항상 더 높다는 것이 확인됨.
• 결과적으로 PSNR는 인간이 검증한 분할 품질과 상관관계가 없기 때문에 분할 알고리즘 평가에 유효한 지표가 아니며, 이는 PSNR가 영상 압축 및 전송 분야에서는 유용할 수 있으나, 분할 평가에는 부적합하다는 것을 보여줌.