[논문 리뷰] DAVANet: Stereo Deblurring with View Aggregation

Shangchen Zhou, Jiawei Zhang외 4명|arXiv (Cornell University)|2019. 04. 10.

Advanced Image Processing Techniques참고 문헌 45인용 수 6

한 줄 요약

DAVANet는 스테레오 이미지 쌍을 사용하여 동적 환경에서 공간적으로 변화하는 복잡한 블러를 효과적으로 제거하기 위해 깊이 인식과 시야 집합 기반의 엔드 투 엔드 스테레오 디블러어링 네트워크를 제안한다. 통합 융합 네트워크를 통해 양방향 디스패리티 추정과 이미지 디블러어링을 공동 최적화함으로써, 20,637개의 이미지 쌍을 포함하는 새로 제안된 대규모 스테레오 디블러어링 데이터셋에서 정확도, 속도, 모델 효율성 측면에서 최신 기술 수준(SOTA)을 달성한다.

ABSTRACT

Nowadays stereo cameras are more commonly adopted in emerging devices such as dual-lens smartphones and unmanned aerial vehicles. However, they also suffer from blurry images in dynamic scenes which leads to visual discomfort and hampers further image processing. Previous works have succeeded in monocular deblurring, yet there are few studies on deblurring for stereoscopic images. By exploiting the two-view nature of stereo images, we propose a novel stereo image deblurring network with Depth Awareness and View Aggregation, named DAVANet. In our proposed network, 3D scene cues from the depth and varying information from two views are incorporated, which help to remove complex spatially-varying blur in dynamic scenes. Specifically, with our proposed fusion network, we integrate the bidirectional disparities estimation and deblurring into a unified framework. Moreover, we present a large-scale multi-scene dataset for stereo deblurring, containing 20,637 blurry-sharp stereo image pairs from 135 diverse sequences and their corresponding bidirectional disparities. The experimental results on our dataset demonstrate that DAVANet outperforms state-of-the-art methods in terms of accuracy, speed, and model size.

연구 동기 및 목표

• 공간적으로 변화하는 블러를 동반한 동적 환경에 대한 효과적인 스테레오 이미지 디블러어링 방법의 부족을 해결하기 위해.
• 깊이 정보와 시야 간 차이와 같은 스테레오 특화 특징을 활용하여 블러 커널 추정을 향상시키기 위해.
• 디스패리티 추정과 이미지 디블러어링을 공동 최적화하는 통합 딥 러닝 프레임워크를 개발하기 위해.
• 향후 연구를 지원하기 위해 대규모 다중 환경 스테레오 디블러어링 데이터셋을 구축하기 위해.

제안 방법

• 이중 디스패리티 추정을 위한 DispBiNet과 이미지 디블러어링을 위한 DeblurNet을 통합한 통합 네트워크 아키텍처인 DAVANet를 제안한다.
• 양측 시야와 디스패리티 인식 표현의 특징을 융합하여 디블러어링 특징을 풍부하게 하는 FusionNet을 도입한다.
• 다양한 확장 비율을 가진 병렬 아트로스 컨볼루션을 사용하여 다중 척도의 맥락 정보를 캡처하는 컨텍스트 모듈을 활용한다.
• 디블러어링과 디스패리티 추정 손실을 공동 최적화하는 다단계 훈련 전략을 적용한다.
• 고주사율 시퀀스에서 프레임 인터폴레이션과 평균화 기반의 블러 생성 방법을 사용하여 현실적인 스테레오 블러를 합성한다.
• 실제 스테레오 시퀀스를 수집하고, 해당하는 정확한 선명한 이미지와 디스패리티를 생성하기 위해 ZED 스테레오 카메라를 활용한다.

실험 결과

연구 질문

• RQ1 스테레오 디스패리티에서 유도된 깊이 인식 특징이 동적 환경에서 공간적으로 변화하는 블러 추정 정확도를 향상시킬 수 있는가?
• RQ2 스테레오 쌍 간의 블러 차이를 효과적으로 활용하여 디블러어링 성능을 향상시킬 수 있는가?
• RQ3 디블러어링과 디스패리티 추정을 공동 최적화하는 것이 순차적 또는 독립적 접근보다 더 나은 성능을 낼 수 있는가?
• RQ4 다중 척도 맥락 모델링이 복잡한 환경에서 디블러어링 품질을 얼마나 향상시키는가?
• RQ5 제안된 방법은 단일 이미지 기반 최신 기술 수준(SOTA) 디블러어링 방법과 비교해 속도, 정확도, 모델 크기 측면에서 어떤가?

주요 결과

• DAVANet는 제안된 스테레오 디블러어링 데이터셋에서 PSNR 33.19와 SSIM 0.9586을 기록하여 최신 기술 수준(SOTA) 방법을 능가한다.
• 절단 실험을 통해 컨텍스트 모듈, 깊이 인식, 시야 집합 모두 성능 향상에 기여하며, 전체 모델이 가장 높은 PSNR와 SSIM을 달성함을 확인했다.
• 컨텍스트 모듈만을 포함한 모델는 PSNR 31.40을 기록하여 다중 척도 맥락을 캡처하는 데 효과적임을 입증했다.
• 깊이 인식 기능이 제거된 모델(w/o DA)은 PSNR 32.69를 기록하여 단일 이미지 기반 기준선 대비 깊이 정보가 상당한 향상을 이끌어냄을 보여주었다.
• 시야 집합 기능이 제거된 모델(w/o VA)은 PSNR 32.53을 기록하여 상호 시야 특징 융합이 디블러어링 품질을 추가로 향상시킴을 시사했다.
• 기존의 CNN 기반 디블러어링 방법 대비 DAVANet는 더 빠른 추론 속도와 더 작은 모델 크기를 확보하였으며, 큰 커널이나 순환층을 사용하지 않고 효율적인 3×3 컨볼루션을 활용하였다.