[논문 리뷰] How Useful Is Image Super-resolution to Other Vision Tasks?

Dengxin Dai, Yujian Wang외 2명|arXiv (Cornell University)|2015. 09. 23.

Advanced Image Processing Techniques인용 수 2

한 줄 요약

이 논문은 이미지 초해상도 복원(ISR)이 에지 검출, 의미 세그먼테이션, 숫자 인식, 장면 인식과 같은 후행 비전 작업에서 성능을 향상시키는지 조사한다. ISR가 저해상도 입력에서 정확도를 향상시킨다는 것을 입증하지만, 표준 시각적 평가 지표(PSNR, SSIM 등)는 실제 응용에서의 유용성과는 빈도가 낮은 상관관계를 보인다.

ABSTRACT

Despite the great advances made in the field of image super-resolution (ISR) during the last years, the performance has merely been evaluated perceptually. Thus, it is still unclear whether ISR is helpful for other vision tasks. In this paper, we present the first comprehensive study and analysis of the usefulness of ISR for other vision applications. In particular, six ISR methods are evaluated on four popular vision tasks, namely edge detection, semantic image segmentation, digit recognition, and scene recognition. We show that applying ISR to input images of other vision systems does improve their performance when the input images are of low-resolution. We also study the correlation between four standard perceptual evaluation criteria (namely PSNR, SSIM, IFC, and NQM) and the usefulness of ISR to the vision tasks. Experiments show that they correlate well with each other in general, but perceptual criteria are still not accurate enough to be used as full proxies for the usefulness. We hope this work will inspire the community to evaluate ISR methods also in real vision applications, and to adopt ISR as a pre-processing step of other vision tasks if the resolution of their input images is low.

연구 동기 및 목표

• 이미지 초해상도 복원(ISR)이 후행 비전 작업에서 성능을 향상시키는지 평가하는 것.
• 실제 비전 응용에서 저해상도 입력 이미지에 대한 ISR 전처리 단계로서의 유용성을 평가하는 것.
• 표준 시각적 평가 지표(PSNR, SSIM, IFC, NQM)와 실제 비전 작업 성능 향상 간의 상관관계를 분석하는 것.
• 비전 시스템 파이프라인에서 ISR 평가를 시각적 평가 외에도 실용적 관점에서 유도하는 데 기여하는 것.

제안 방법

• 네 가지 비전 작업(에지 검출, 의미 세그먼테이션, 숫자 인식, 장면 인식)에 대해 저해상도 입력에 대해 여섯 가지 최첨단 이미지 초해상도 복원(ISR) 방법을 적용하였다.
• 각 비전 시스템의 성능을 ISR 전처리 유무에 따라 평가하여 향상 정도를 측정하였다.
• 시각적 평가 지표(PSNR, SSIM, IFC, NQM)를 계산하고 실제 비전 작업 성능 향상과 상관관계를 분석하였다.
• 재현성과 방법 간 비교를 보장하기 위해 표준 벤치마크 데이터셋을 사용하여 실험을 수행하였다.
• 시각적 지표와 실제 작업 성능 향상 간 상관관계의 강도를 평가하기 위해 통계 분석을 실시하였다.
• ISR의 영향을 분리하기 위해 고해상도 원본 이미지의 영향을 배제하기 위해 저해상도 입력에 집중하였다.

실험 결과

연구 질문

• RQ1 저해상도 입력에 이미지 초해상도 복원을 적용하면 후행 비전 작업, 예를 들어 의미 세그먼테이션 및 장면 인식에서 성능이 향상되는가?
• RQ2 표준 시각적 평가 지표(PSNR, SSIM, IFC, NQM)는 실제 비전 응용에서 ISR의 유용성과 얼마나 잘 상관되는가?
• RQ3 시각적 지표만으로는 실용적 비전 파이프라인에서 ISR의 유용성을 평가하는 데 신뢰할 수 있는 지표로 사용될 수 있는가?
• RQ4 어떤 조건에서 ISR이 비전 작업 정확도 향상에 가장 뚜렷한 기여를 하는가?

주요 결과

• 에지 검출, 의미 세그먼테이션, 숫자 인식, 장면 인식의 네 가지 비전 작업 모두에 저해상도 입력에 대해 이미지 초해상도 복원을 적용하면 일관되게 성능 향상이 이루어진다.
• 입력 이미지가 저해상도일 경우 성능 향상이 가장 두드러지므로, 이 경우 ISR이 전처리 단계로 유용하다는 점을 시사한다.
• PSNR, SSIM, IFC, NQM는互상관관계를 보이지만, 실제 비전 작업 성능 향상과는 중간 정도의 상관관계를 보인다.
• 시각적 지표는 실제 비전 응용에서 ISR의 유용성을 완전히 대체할 수 있을 정도로 정확하지 않다.
• 시각적 품질과 기능적 유용성 사이에 격차가 있음을 드러내며, 평가 기준을 표준 지표를 넘어서야 한다는 점을 시사한다.
• 입력 해상도가 제한된 경우 비전 시스템에서 ISR을 전처리 단계로 도입할 것을 지지하는 결과를 도출한다.