[논문 리뷰] Spatio-Temporal Filter Adaptive Network for Video Deblurring

Shangchen Zhou, Jiawei Zhang외 4명|arXiv (Cornell University)|2019. 04. 28.

Advanced Image Processing Techniques참고 문헌 46인용 수 24

한 줄 요약

이 논문은 시공간 필터 적응형 합성곱(이하 FAC) 레이어를 도입한 시공간 필터 적응형 네트워크(STFAN)를 제안하여 영상 복소화에 활용한다. STFAN은 이전 흐릿한 프레임과 복원된 프레임, 현재 흐릿한 프레임으로 구성된 트리플렛 입력으로부터 동적으로 공간적으로 적응형 필터를 생성함으로써, 명시적인 광학 흐름 추정 없이도 시간적 정렬과 블러 제거를 동시에 수행한다. 이로 인해 공간적으로 변동하는 블러를 효과적으로 처리하며, 벤치마크 데이터셋에서 PSNR(31.24)와 SSIM(0.934)에서 최신 기술을 초월하는 성능을 달성했으며, 처리 속도와 모델 효율성 또한 향상되었다.

ABSTRACT

Video deblurring is a challenging task due to the spatially variant blur caused by camera shake, object motions, and depth variations, etc. Existing methods usually estimate optical flow in the blurry video to align consecutive frames or approximate blur kernels. However, they tend to generate artifacts or cannot effectively remove blur when the estimated optical flow is not accurate. To overcome the limitation of separate optical flow estimation, we propose a Spatio-Temporal Filter Adaptive Network (STFAN) for the alignment and deblurring in a unified framework. The proposed STFAN takes both blurry and restored images of the previous frame as well as blurry image of the current frame as input, and dynamically generates the spatially adaptive filters for the alignment and deblurring. We then propose the new Filter Adaptive Convolutional (FAC) layer to align the deblurred features of the previous frame with the current frame and remove the spatially variant blur from the features of the current frame. Finally, we develop a reconstruction network which takes the fusion of two transformed features to restore the clear frames. Both quantitative and qualitative evaluation results on the benchmark datasets and real-world videos demonstrate that the proposed algorithm performs favorably against state-of-the-art methods in terms of accuracy, speed as well as model size.

연구 동기 및 목표

• 카메라 흔들림, 물체 운동, 깊이 변화로 인한 영상에서 공간적으로 변동하는 블러 문제를 해결하기 위해.
• 기존 방법들이 정확도가 떨어지는 광학 흐름 추정에 의존함으로써 발생하는 한계를 극복하기 위해.
• 명시적인 운동장 예측 없이도 시간적 정렬과 블러 제거를 하나의 엔드 투 엔드 프레임워크로 통합하기 위해.
• 비균일한 블러를 특징 도메인에서 처리할 수 있는 유연하고 적응형 필터링 메커니즘을 개발하기 위해.
• 큰 운동량과 심한 블러를 동반한 실세계 영상에서의 복소화 성능을 향상시키기 위해.

제안 방법

• STFAN 네트워크는 이전 흐릿한 프레임 $B_{t-1}$, 이전에 복원된 프레임 $R_{t-1}$, 현재 흐릿한 프레임 $B_t$로 구성된 트리플렛 입력을 사용한다.
• 특징 변환을 위한 공간적으로 변동하는 필터를 동적으로 생성하는 새로운 필터 적응형 합성곱(FAC) 레이어를 도입한다.
• FAC 레이어는 다운샘플된 특징에 대해 학습된 필터를 적용하여 더 큰 수신장과 더 작은 필터 크기, 채널별 적응을 가능하게 한다.
• 정렬 브랜치는 FAC를 사용해 이전 프레임의 특징을 명시적인 광학 흐름이나 영상 왜곡 없이 현재 프레임에 정렬한다.
• 복소화 브랜치는 FAC를 사용해 특징 도메인에서 직접 공간적으로 변동하는 블러를 제거한다.
• 재구성 네트워크는 두 브랜치의 변환된 특징을 융합하여 최종 선명한 프레임을 생성한다.

실험 결과

연구 질문

• RQ1 명시적인 광학 흐름 추정 없이도 통합된 네트워크 아키텍처가 영상 복소화에서 정렬과 복소화를 효과적으로 동시에 수행할 수 있는가?
• RQ2 이전 시간 단계의 복원된 프레임과 흐릿한 프레임을 함께 사용함으로써 운동 모델링과 블러 처리에 어떤 기여를 하는가?
• RQ3 동적으로 생성된 공간적으로 적응형 필터가 고정 또는 추정된 커널보다 공간적으로 변동하는 블러 처리에 더 나은 성능을 내는가?
• RQ4 FAC 레이어의 설계가 성능에 미치는 영향은 무엇인가? 특히 수신장과 특징 변환 효율성 측면에서.
• RQ5 트리플렛 입력 (B_{t-1}, R_{t-1}, B_t)이 동적인 시나리오의 블러 모델링에 더 단순한 입력보다 우수한가?

주요 결과

• 제안된 STFAN은 벤치마크 데이터셋에서 PSNR 31.24, SSIM 0.934를 기록하여 두 지표에서 최신 기술을 초월하는 성능을 달성했다.
• 절단 실험 결과, 정렬 또는 복소화 FAC 레이어를 제거할 경우 성능이 크게 떨어지며, PSNR는 각각 30.59와 30.92로 하락했다.
• 트리플렛 입력 (R_{t-1}, B_{t-1}, B_t)이 가장 높은 성능을 보였으며, (B_{t-1}, B_t) 또는 (R_{t-1}, B_t)만을 사용한 변형보다 PSNR 31.24 대비 30.87과 30.85로 뛰어난 성능을 보였다.
• 더 큰 적응형 필터 크기(k=9)는 k=5 대비 약간의 성능 향상을 보였지만, 성능과 계산 비용의 실용적 트레이드오���으로 k=5가 선택되었다.
• FAC 레이어 덕분에 명시적인 광학 흐름 없이도 효과적인 특징 왜곡과 복소화가 가능했으며, 정성적 결과를 통해 정렬과 복소화가 암묵적으로 구현됨을 확인할 수 있었다.
• 모델는 속도, 정확도, 모델 크기 사이에 유리한 균형을 이루었으며, k=5일 경우 뿐만 아니라 총 537만 개의 파라미터를 가짐으로써 실세계 적용에 매우 효율적임을 입증했다.