[논문 리뷰] Flickr1024: A Large-Scale Dataset for Stereo Image Super-Resolution

Yingqian Wang, Longguang Wang외 3명|arXiv (Cornell University)|2019. 03. 15.

Advanced Image Processing Techniques참고 문헌 17인용 수 4

한 줄 요약

이 논문은 사용자 허가를 받아 플리커에서 수집한 1,024개의 고성능이고 다양한 실제 세계 영상 쌍을 포함하는 대규모 스테레오 초해상도 데이터셋인 Flickr1024을 소개한다. 이 데이터셋은 과적합을 줄이고 여러 벤치마크에서 PSNR/SSIM 성능을 향상시켜 PASSRnet 및 StereoSR와 같은 최신 모델을 사용한 교차 데이터셋 평가에서 KITTI 및 Middlebury 데이터셋을 능가한다.

ABSTRACT

With the popularity of dual cameras in recently released smart phones, a growing number of super-resolution (SR) methods have been proposed to enhance the resolution of stereo image pairs. However, the lack of high-quality stereo datasets has limited the research in this area. To facilitate the training and evaluation of novel stereo SR algorithms, in this paper, we present a large-scale stereo dataset named Flickr1024, which contains 1024 pairs of high-quality images and covers diverse scenarios. We first introduce the data acquisition and processing pipeline, and then compare several popular stereo datasets. Finally, we conduct crossdataset experiments to investigate the potential benefits introduced by our dataset. Experimental results show that, as compared to the KITTI and Middlebury datasets, our Flickr1024 dataset can help to handle the over-fitting problem and significantly improves the performance of stereo SR methods. The Flickr1024 dataset is available online at: https://yingqianwang.github.io/Flickr1024.

연구 동기 및 목표

• 실제 세계 환경에서 다양하게 구성된 대규모 고성능 스테레오 초해상도 데이터셋의 부족 문제를 해결하기 위해.
• 기존의 주로 주행 또는 실험실 환경에 국한된 데이터셋을 넘어서 딥러닝 기반 스테레오 초해상도 방법의 훈련 및 평가를 촉진하기 위해.
• 더 큰 규모이자 더 다양한 데이터셋이 스테레오 초해상도 모델의 일반화 성능 향상과 과적합 감소에 기여하는지 조사하기 위해.
• 스테레오 이미지 초해상도 분야의 산업 및 학술 연구를 지원하는 종합적이고 공개 가능한 데이터셋을 제공하기 위해.

제안 방법

• 원본 사진작가의 허가를 확보한 후, 플리커에서 수동으로 1,024개의 스테레오 이미지 쌍을 수집하여 데이터셋을 구축하였다.
• 초해상도 작업을 위한 적절한 스테레오 기하학을 확보하기 위해, 교차 눈 정렬을 평행 광축으로 보정하는 프로세스를 통과시켰다.
• 이미지 정렬, 해상도 표준화, BRISQE, ENIQA, SR-metric와 같은 지표를 활용한 정성적 품질 평가를 포함한 다단계 데이터 처리 파이프라인을 구현하였다.
• 편향을 최소화하기 위해 정성적 품질 지표에 균형 잡힌 분포를 가지도록 훈련, 검증, 테스트 세트로 데이터셋을 분할하였다.
• 최신 스테레오 초해상도 모델(StereoSR 및 PASSRnet)을 사용하여 다른 데이터셋에서 훈련된 모델을 기반으로 교차 데이터셋 평가를 수행하였다.
• PSNR 및 SSIM을 사용해 KITTI, Middlebury, ETH3D, 그리고 Flickr1024 자체를 포함한 여러 데이터셋에서 성능을 정량적으로 평가하였다.

실험 결과

연구 질문

• RQ1 대규모이고 다양한 스테레오 이미지 데이터셋이 딥러닝 기반 스테레오 초해상도 모델의 일반화 성능 향상에 기여할 수 있는가?
• RQ2 Flickr1024 데이터셋은 KITTI, Middlebury, ETH3D와 같은 기존 스테레오 데이터셋과 비교해 이미지 품질, 다양성, 해상도 측면에서 어떻게 다른가?
• RQ3 더 작은, 다각도가 떨어지는 데이터셋 대비 Flickr1024에서 훈련한 스테레오 초해상도 모델에서 과적합 현상이 감소하는가?
• RQ4 교차 데이터셋 평가에서 Flickr1024 데이터셋이 다양한 테스트 세트에서 PSNR 및 SSIM 성능 향상에 어느 정도 영향을 미치는가?

주요 결과

• 교차 데이터셋 평가에서 Flickr1024 데이터셋은 모든 테스트 세트에서 평균 PSNR 및 SSIM 점수를 기록으로서, KITTI2015 및 Middlebury 데이터셋에서 훈련된 모델들을 능가하였다.
• Flickr1024에서 훈련된 모델은 에포크 수가 증가함에 따라 일관되게 성능 향상을 보였으며, 이는 과적합 감소를 시사한다. 반면 KITTI2015에서 훈련된 모델은 특정 지점 이후 성능 저하를 보였다.
• 동일한 테스트 세트에서 평가했을 때, Flickr1024는 KITTI2015 대비 평균 PSNR을 1.04 dB 향상시키고, Middlebury 대비 0.58 dB 향상시켰다.
• 정성적 품질 측정에서 Flickr1024는 가장 높은 ENIQA 점수(0.065)를 기록했으며, BRISQE(19.40) 및 SR-metric(7.12) 값도 우수하여 높은 시각적 품질과 풍부한 질감을 반영하였다.
• 통계적 비교 결과, Flickr1024는 훈련, 검증, 테스트 세트 간에 이미지 품질 지표가 균형 잡힌 분포를 보이며, 데이터 泄露 및 편향을 최소화하였다.
• 자연 풍경과 일상 사진을 포함한 다양한 실제 세계 시나리오 덕분에, 이 데이터셋은 모바일 기기에서의 스테레오 초해상도 모델 실용적 구현에 매우 적합하다.