[논문 리뷰] RENOIR - A Benchmark Dataset for Real Noise Reduction Evaluation.

Josue Anaya, Adrian Barbu|arXiv (Cornell University)|2014. 09. 29.

Image and Signal Denoising Methods참고 문헌 8인용 수 18

한 줄 요약

이 논문은 다양한 저조도 조건에서 촬영한 400여 장의 실제, 처리되지 않은 컬러 이미지로 구성된 RENOIR이라는 벤치마크 데이터셋을 소개한다. 각 장면에 대해 고노이즈와 저노이즈 이미지 쌍을 제공하며, 최신 노이즈 제거 알고리즘인 BM3D, Active Random Field, Multi-Layer Perceptron을 평가하여 BM3D가 다른 알고리즘보다 훨씬 느리지만 가장 뛰어난 성능을 보였음을 확인하였다.

ABSTRACT

Abstract—In this paper we introduce a dataset of uncom-pressed color images taken with three digital cameras and exhibiting different levels of natural noise due to low-light conditions. For each scene there are on average two low-noise and two high noise images that are aligned at the pixel level both spatially and in intensity. The dataset contains over 100 scenes and more than 400 images, including both RAW formatted images and 8 bit BMP pixel and intensity aligned images. We also introduce a method for estimating the true noise level in each of our images. We use our dataset to analyze three current state of the art denoising algorithms: Active Random Field, BM3D, and Multi-Layer Perceptron. We found that BM3D obtains the best denoising results, however it is the slowest of the three methods with Active Random Field taking only a few seconds and Multi-Later Perceptron and BM3D taking a few minutes to half an hour to denoise a 10 to 18 mega-pixel image. Index Terms—image denoising, real camera noise, image dataset I.

연구 동기 및 목표

• 자연스러운 노이즈 조건에서 영상 노이즈 제거 알고리즘을 평가하기 위한 표준화된 실제 세계 데이터셋의 부족을 해결하기 위해.
• 통제된 저조도 환경에서 촬영한 다양한 실제 카메라 노이즈 데이터를 제공하기 위해.
• 실제로 처리되지 않은 이미지를 사용하여 최신 노이즈 제거 알고리즘 간 공정하고 재현 가능한 비교를 가능하게 하기 위해.
• 실제 카메라 이미지의 진짜 노이즈 수준을 정확히 추정할 수 있는 신뢰할 수 있는 방법을 개발하기 위해.

제안 방법

• 다양한 조명 조건에서 세 대의 디지털 카메라를 사용해 100여 개 이상의 장면을 촬영하여 고노이즈 및 저노이즈 이미지 쌍을 확보하였다.
• 모든 이미지 쌍 간의 공간적 및 강도 일관성을 확보하기 위해 픽셀 수준에서 이미지를 정렬하였다.
• 다양한 알고리즘 평가를 지원하기 위해 RAW 및 8비트 BMP 형식을 모두 제공하였다.
• 각 이미지의 진짜 노이즈 수준을 정량화하기 위한 노이즈 추정 방법을 제안하였다.
• RENOIR 데이터셋에서 세 가지 선도적 노이즈 제거 알고리즘—Active Random Field, BM3D, Multi-Layer Perceptron—을 평가하였다.
• 10~18메가픽셀 크기의 이미지에서 정량적 지표와 실행 시간을 측정하여 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 최신 노이즈 제거 알고리즘은 자연스러운 노이즈를 가진 실제 세계의 처리되지 않은 카메라 이미지에서 어떻게 성능을 발휘하는가?
• RQ2 다양한 알고리즘 간에 노이즈 수준과 노이즈 제거 성능 사이의 관계는 어떠한가?
• RQ3 실제 이미지 데이터에서 선도적 노이즈 제거 방법 간의 계산 효율성은 어떻게 비교되는가?
• RQ4 실제 카메라 이미지에 대해 신뢰할 수 있는 노이즈 수준 추정 방법을 적용하여 공정한 평가를 지원할 수 있는가?

주요 결과

• 평가된 알고리즘들 중에서 BM3D가 RENOIR 데이터셋에서 가장 높은 노이즈 제거 성능을 기록하였다.
• Active Random Field는 10~18메가픽셀 이미지에 대해 몇 초 내로 노이즈 제거를 완료하여 가장 빠른 방법이었다.
• Multi-Layer Perceptron과 BM3D는 동일한 이미지 크기에서 수분에서 30분까지 소요되어 높은 계산 비용을 유발함을 확인하였다.
• 제안된 노이즈 추정 방법은 실제 카메라 이미지의 진짜 노이즈 수준을 정확히 정량화하는 데 성공하였다.
• 이 데이터셋은 실제 세계 조건에서 노이즈 제거 알고리즘의 일관되고 재현 가능한 평가를 가능하게 하였다.
• 결과는 노이즈 제거 품질과 계산 효율성 사이의 상충 관계를 드러내었으며, BM3D는 속도를 희생하여 최고의 품질을 제공함을 시사하였다.