[논문 리뷰] Towards Rolling Shutter Correction and Deblurring in Dynamic Scenes

Zhihang Zhong, Yinqiang Zheng외 1명|arXiv (Cornell University)|2021. 04. 04.

Advanced Vision and Imaging참고 문헌 45인용 수 4

한 줄 요약

이 논문은 동적 영상에서 병합된 롤링 셔터 보정과 블러 제거를 위한 첫 번째 학습 기반 방법인 JCD를 소개한다. 이는 운동 보정을 위한 양방향 워핑 스트림과 세부 사항 복원을 위한 워핑되지 않은 디블러링 스트림을 결합하며, 변형 가능 주의 모듈을 사용한다. 새로운 제안된 BS-RSCD 데이터셋과 합성된 Fastec-RS 데이터셋에서 최신 기술 수준의 성능을 달성했으며, 정량적 지표와 시각적 품질 측면에서 기존 방법들을 능가한다.

ABSTRACT

Joint rolling shutter correction and deblurring (RSCD) techniques are critical for the prevalent CMOS cameras. However, current approaches are still based on conventional energy optimization and are developed for static scenes. To enable learning-based approaches to address real-world RSCD problem, we contribute the first dataset, BS-RSCD, which includes both ego-motion and object-motion in dynamic scenes. Real distorted and blurry videos with corresponding ground truth are recorded simultaneously via a beam-splitter-based acquisition system. Since direct application of existing individual rolling shutter correction (RSC) or global shutter deblurring (GSD) methods on RSCD leads to undesirable results due to inherent flaws in the network architecture, we further present the first learning-based model (JCD) for RSCD. The key idea is that we adopt bi-directional warping streams for displacement compensation, while also preserving the non-warped deblurring stream for details restoration. The experimental results demonstrate that JCD achieves state-of-the-art performance on the realistic RSCD dataset (BS-RSCD) and the synthetic RSC dataset (Fastec-RS). The dataset and code are available at https://github.com/zzh-tech/RSCD.

연구 동기 및 목표

• 동적 영상에서 병합된 롤링 셔터 보정과 블러 제거(RSCD)를 위한 현실적인 데이터셋 부족 문제를 해결하기 위해.
• 기존의 RSC 및 블러 제거 방법이 동시에 적용될 경우, 양질의 왜곡과 블러를 처리하는 데 있어 아키텍처 결함으로 인해 실패하는 문제를 해결하기 위해.
• 실세계의 동적 영상에서 롤링 셔터 보정과 블러 제거를 효과적으로 통합하는 단일 딥 러닝 모델을 개발하기 위해.
• 빔 스플리터 시스템을 사용해 촬영한 새로운 현실적인 데이터셋(BS-RSCD)을 통해 향후 학습 기반 RSCD 연구의 기준을 설정하기 위해.

제안 방법

• 빔 스플리터 시스템을 사용해 동시에 롤링 셔터(RS) 왜곡 및 블러 영상과 글로벌 셔터(GS) 정답 영상을 촬영한, RSCD를 위한 첫 번째 실세계 벤치마크인 BS-RSCD 데이터셋을 제안한다.
• 정확한 이동 보상에 적합한 이중 방향 워핑 스트림과 세부 사항을 유지하기 위한 워핑되지 않은 디블러링 스트림을 갖춘 JCD 모델을 설계한다.
• 다중 척도에서 워핑 및 디블러링 스트림의 특징을 융합하기 위해 변형 가능 주의 모듈을 활용하여 적응형 특징 집합을 가능하게 한다.
• 실제성과 세부 사항 복원을 향상시키기 위해 L1, 인지적(LPIPS), 그리고 적대적 손실을 조합한 다중 척도 손실을 사용해 엔드 투 엔드 학습을 수행한다.
• 단일 방향 접근보다 더 정확한 운동 필드 추정을 위해 이중 방향 워핑을 적용하여 기하학적 일致성을 향상시킨다.
• GSD 방법에서 흔한 기하학적 왜곡을 피하고 RSC 방법에서 흔한 블러 복원 실패를 방지하기 위해, 상호 보완적인 처리 경로를 분리하고 융합하는 새로운 아키텍처를 도입한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델은 자율 주행 차량의 움직임과 물체의 움직임이 동시에 존재하는 동적 영상에서 롤링 셔터 왜곡을 효과적으로 보정하고 블러 제거를 동시에 수행할 수 있는가?
• RQ2 이중 방향 워핑과 워핑되지 않은 디블러링 스트림의 융합은 별도의 RSC 또는 GSD 네트워크보다 성능을 어떻게 향상시키는가?
• RQ3 제안된 변형 가능 주의 모듈은 특징 융합을 얼마나 향상시키고 기하학적 구조 및 세부 사항을 얼마나 잘 유지하는가?
• RQ4 실세계 RSCD 데이터셋에서 학습된 모델은 알려지지 않은 카메라 기기와 실세계 영상 시퀀스로 일반화 가능한가?
• RQ5 LPIPS와 같은 인지적 지표는 전통적 지표(PSNR, SSIM)에 비해 RSCD 성능 평가에서 어떻게 다를까?

주요 결과

• JCD는 BS-RSCD 데이터셋에서 최신 기술 수준의 성능을 달성했으며, PSNR 26.42 dB, SSIM 0.778, LPIPS 0.107을 기록해 모든 베이스라인을 능가했다.
• 합성된 Fastec-RS 데이터셋에서 JCD는 PSNR 24.84 dB, SSIM 0.778, LPIPS 0.107을 기록해 강력한 일반화 능력과 강인성을 입증했다.
• 제거 실험에서 중간 디블러링 스트림을 제거한 경우(BS-RSCD 기준) PSNR가 1.58 dB 감소하여, 이 스트림이 세부 사항 복원에 핵심적인 역할을 한다는 것을 확인했다.
• 변형 가능 컨볼루션 레이어를 제거한 경우(BS-RSCD 기준) LPIPS가 0.011 증가하여, 이 구성 요소가 기하학적 아티팩트를 감소시킨다는 것을 나타냈다.
• 단일 워핑 스트림만 사용한 경우(BS-RSCD 기준) PSNR는 0.58 dB 감소하고 LPIPS는 0.015 증가하여, 이중 방향 운동 추정의 이점이 뚜렷하게 드러났다.
• 제삼자 카메라(FLIR 및 EO)에 대한 교차 카메라 테스트 결과, 모델이 매우 우수한 도메인 일반화 능력을 보였으며, 이는 강력한 실제 적용 가능성을 시사한다.