[논문 리뷰] ARVo: Learning All-Range Volumetric Correspondence for Video Deblurring

Dongxu Li, Chenchen Xu외 6명|arXiv (Cornell University)|2021. 03. 07.

Advanced Image Processing Techniques참고 문헌 47인용 수 4

한 줄 요약

이 논문은 빠른 운동으로 인한 큰 이동을 다루기 위해 특징 공간에서 전 범위의 체적 대응을 학습하는 새로운 비디오 디블러핑 방법인 ARVo를 제안한다. 관련성 볼륨 피라미드를 사용하여 이를 실현한다. 암묵적 특징 기반 대응과 점진적 생성적 적대적 학습, 새로운 고프레임레트 데이터셋(HFR-DVD)을 결합함으로써, ARVo는 DVD 및 HFR-DVD 데이터셋에서 모두 최신 기술 수준(SOTA)의 성능을 달성하며, 정량적 지표와 시각적 품질 면에서 이전 방법들을 능가한다.

ABSTRACT

Video deblurring models exploit consecutive frames to remove blurs from camera shakes and object motions. In order to utilize neighboring sharp patches, typical methods rely mainly on homography or optical flows to spatially align neighboring blurry frames. However, such explicit approaches are less effective in the presence of fast motions with large pixel displacements. In this work, we propose a novel implicit method to learn spatial correspondence among blurry frames in the feature space. To construct distant pixel correspondences, our model builds a correlation volume pyramid among all the pixel-pairs between neighboring frames. To enhance the features of the reference frame, we design a correlative aggregation module that maximizes the pixel-pair correlations with its neighbors based on the volume pyramid. Finally, we feed the aggregated features into a reconstruction module to obtain the restored frame. We design a generative adversarial paradigm to optimize the model progressively. Our proposed method is evaluated on the widely-adopted DVD dataset, along with a newly collected High-Frame-Rate (1000 fps) Dataset for Video Deblurring (HFR-DVD). Quantitative and qualitative experiments show that our model performs favorably on both datasets against previous state-of-the-art methods, confirming the benefit of modeling all-range spatial correspondence for video deblurring.

연구 동기 및 목표

• 빠른 운동으로 인한 큰 이동을 다루는 데에 한계가 있는 전형적 정렬 방법(예: 옵티컬 플로우 및 호모지어티)의 문제를 해결하기 위해.
• 운동 추정에 의존하지 않고도 프레임 간 장거리 공간적 의존성을 포착할 수 있는 암묵적 대응 학습 메커니즘을 개발하기 위해.
• 다중 척도 상관성 볼륨 피라미드를 통해 인접 프레임에서의 맥락을 집계하면서 기준 프레임의 고해상도 특징을 유지하여 복원 품질을 향상시키기 위해.
• 생성적 적대적 프레임워크에서 점진적 학습을 통해 시간적 일관성과 시각적 품질을 향상시키기 위해.

제안 방법

• 기준 프레임과 인접 프레임 간의 모든 픽셀 쌍을 특징 공간에서 매칭하여 관련성 볼륨 피라미드를 구성함으로써, 전 범위의 대응 학습을 가능하게 한다.
• 전체 공간 범위에 걸쳐 인접 특징과의 상관성을 최대화함으로써 기준 프레임의 특징을 향상시키는 상관성 집계 모듈을 설계한다.
• 기준 프레임의 공간 해상도를 유지하면서 인접 프레임의 특징은 단지 서브샘플링함으로써 세밀한 디테일을 유지한다.
• 각 단계에서 이전 단계의 복원된 프레임을 입력으로 사용하는 점진적 학습 방식을 적용하여, 복원 품질을 점차 향상시킨다.
• 생성적 적대적 학습 프레임워크 내에서 시간적 일관성 손실를 도입하여, 판별자가 실제 선명한 프레임 시퀀스와 생성된 시퀀스를 구분하도록 한다.
• 다중 척도 상관성 볼륨을 사용하여 수용 영역을 넓히면서도 고해상도 디테일을 유지함으로써, 이전 방법에서의 국소 수용 영역의 한계를 피한다.

Figure 2 : Overview of the proposed video deblurring pipeline. Our method first warps the neighboring frame to the reference frame for feature extraction. Then it computes all-range volumetric correspondence between the reference and neighboring frames as a correlation volume pyramid. Next, it relie

실험 결과

연구 질문

• RQ1 큰 이동을 겪는 상황에서 암묵적 특징 공간 대응 학습이 전형적 운동 기반 정렬보다 성능이 뛰어나게 되는가?
• RQ2 프레임 간 전 범위의 픽셀 쌍 상관관계를 모델링할 경우, 빠른 운동 장면에서의 디블러핑 성능이 어떻게 향상되는가?
• RQ3 생성적 적대적 감독 하에 점진적 학습이 시간적 일관성과 시각적 품질 향상에 얼마나 기여하는가?
• RQ4 옵티컬 플로우 또는 호모지어티 기반 정렬과 비교했을 때, 제안된 상관성 볼륨 피라미드의 강건성과 정확도는 어떠한가?
• RQ5 고프레임레트 데이터셋(1000fps)을 사용할 경우, 비디오 디블러핑 모델 평가 및 향상에 어떤 영향을 미치는가?

주요 결과

• ARVo는 DVD 데이터셋에서 PSNR 32.80, SSIM 0.9352를 기록하여 이전 최신 기술 수준 방법들을 능가한다.
• 최근 도입된 HFR-DVD 데이터셋에서 ARVo는 특히 빠른 운동 블러를 처리할 때 더 뛰어난 시각적 일관성과 디테일 복원을 보이며 초월적인 정성적 성능을 보였다.
• 절단 분석 결과, 옵티컬 플로우 기반 정렬과 상관성 볼륨 정렬을 조합할 경우 최고의 성능(PSNR: 32.80, SSIM: 0.9352)을 기록하여 두 방법이 상호 보완적임을 입증했다.
• 이중 단계 점진적 학습은 단일 단계 학습 대비 PSNR를 0.52 dB 향상시켰으며, 두 단계 이상에서는 수익 감소 현상이 나타났다.
• 생성적 적대적 학습은 정량적 PSNR 향상은 미미한 -0.01이지만, 정성적 비교를 통해 시간적 일관성이 향상됨을 보여주며, 주관적 향상 효과가 있음을 시사한다.
• 특징 시각화 결과, 상관성 집계 모듈이 매우 흐린 영역을 효과적으로 개선하면서도 덜 흐린 영역은 유지함으로써, 표적적 특징 강화 기능을 잘 수행하고 있음을 확인했다.

Figure 3 : Illustration of the correlative aggregation module, which aggregates the features for the reference frame based on the normalized correlation volume.