[논문 리뷰] Online Video Deblurring via Dynamic Temporal Blending Network

Tae Hyun Kim, Kyoung Mu Lee외 2명|arXiv (Cornell University)|2017. 04. 11.

Advanced Image Processing Techniques참고 문헌 38인용 수 25

한 줄 요약

이 논문은 공간적으로 변화하는 운동 흐림을 유발하는 카메라 흔들림과 물체 운동이 있는 실세계 영상에서 실시간으로 영상의 흐림을 복원할 수 있도록 동적 시간 블렌딩을 통한 시공간 순환 잔차 신경망을 제안한다. 프레임 간 적응형이고 입력에 의존하는 특징 전파를 가능하게 하여 수신장(field)을 확장함으로써, 모델 크기를 증가시키지 않으면서도 실시간 성능(표준 VGA 기준 24 fps)을 달성하며, 특히 강한 카메라 흔들림과 물체 운동이 있는 도전적인 실세계 영상에서 PSNR와 시간적 일관성 측면에서 최신의 배치(batch) 방법들을 능가한다.

ABSTRACT

State-of-the-art video deblurring methods are capable of removing non-uniform blur caused by unwanted camera shake and/or object motion in dynamic scenes. However, most existing methods are based on batch processing and thus need access to all recorded frames, rendering them computationally demanding and time consuming and thus limiting their practical use. In contrast, we propose an online (sequential) video deblurring method based on a spatio-temporal recurrent network that allows for real-time performance. In particular, we introduce a novel architecture which extends the receptive field while keeping the overall size of the network small to enable fast execution. In doing so, our network is able to remove even large blur caused by strong camera shake and/or fast moving objects. Furthermore, we propose a novel network layer that enforces temporal consistency between consecutive frames by dynamic temporal blending which compares and adaptively (at test time) shares features obtained at different time steps. We show the superiority of the proposed method in an extensive experimental evaluation.

연구 동기 및 목표

• 전체 프레임에 대한 액세스가 필요하고 실시간 사용에 계산 비용이 과도한 배치 영상 흐림 복원 방법의 한계를 해결하기 위해.
• 카메라 흔들림과 물체 운동으로 인한 공간적으로 변화하는 운동 흐림이 있는 영상에 대해 온라인(순차적) 흐림 복원을 가능하게 하기 위해.
• 크기가 큰 흐림을 처리하기 위해 넓은 수신장(field)을 유지하면서도 계산 비용을 증가시키지 않는 경량이고 효율적인 딥 러닝 아키텍처를 개발하기 위해.
• 테스트 시에 적응하는 새로운 동적 블렌딩 메커니즘을 통해 연속 프레임 간 시간적 일관성을 강화하기 위해.
• 분류형 영상 흐림 복원 모델의 훈련 및 벤치마킹을 위한 대규모 고속 영상 데이터셋을 공개하기 위해.

제안 방법

• 모델 크기를 증가시키지 않고도 시간에 따라 효과적인 수신장을 확장하기 위해, 마지막 레이어의 특징 활성화를 다음 시간 단계로 다시 피드백하는 시공간 순환 잔차 신경망(STRCNN)을 제안한다.
• 연속 프레임 간 특징 표현을 비교하고 입력에 의존하는 유사도에 기반해 정보를 적응적으로 공유함으로써 시간적 일관성을 향상시키는 동적 시간 블렌딩(DTB) 레이어를 도입한다.
• 시간에 따라 특징를 누적시켜 장거리 공간적 맥락 모델링을 가능하게 하는 새로운 네트워크 레이아웃을 활용하여, 큰 운동 흐림에 대한 성능을 향상시킨다.
• 대규모 데이터셋을 사용해 엔드 투 엔드로 모델을 훈련시키며, 고속 촬영된 선명한 프레임과 시간 평균을 통해 생성된 합성 흐린 프레임의 쌍을 사용한다.
• 훈련 안정성과 영상 흐림 복원에서의 특징 표현 학습 향상을 위해 잔차 학습과 순환 연결을 조합한다.
• 세밀한 디테일을 유지하고 복원 출력에서의 아티팩트를 줄이기 위해 훈련 중 다중 척도 손실 함수를 적용한다.

실험 결과

연구 질문

• RQ1 딥 러닝 기반 영상 흐림 복원 방법이 모든 프레임을 사전에 확보하지 않고도 온라인(순차적) 처리 환경에서 실시간 성능를 달성할 수 있는가?
• RQ2 신경망 아키텍처가 계산 비용을 낮추면서도 강한 운동 흐림을 처리하기 위해 넓은 공간적 수신장을 유지할 수 있는가?
• RQ3 시간에 따라 동적이고 입력에 의존하는 특징 블렌딩이 시간적 일관성을 향상시키고 복원 영상에서의 번짐 현상을 줄이는 데 얼마나 기여하는가?
• RQ4 복잡한 흐림 패턴을 가진 실세계 영상에서 제안된 방법이 최신의 배치 흐림 복원 방법과 정량적·정성적으로 어떻게 비교되는가?
• RQ5 고속 카메라를 사용한 자기지도 학습 기반의 데이터 생성 전략이 실세계 흐린 영상에 잘 일반화되는 현실적인 훈련 데이터를 생성할 수 있는가?

주요 결과

• 제안된 STRCNN+DTB 모델은 25개의 실세계 영상 테스트 세트에서 PSNR 29.02를 기록하며, 광학 흐름 정렬을 사용한 Su 등 [32] (28.81 dB) 및 Kim과 Lee [18] (27.42 dB)와 같은 최신 방법들을 이미지 품질 측면에서 능가한다.
• 표준 NVIDIA GTX 1080 GPU에서 VGA 영상의 경우 약 24 프레임/초로 처리하여 실시간 응용에 적합하며, 기존의 배치 방법은 유사한 HD 영상 처리에 수천 초가 소요된다.
• 동적 시간 블렌딩 메커니즘이 시간적 아티팩트와 번짐 현상을 크게 감소시켜, 특히 운동 경계에서 두드러진다. 정성적 비교에서 STRCNN 단독으로는 차량 유리판 등에서 눈에 띄는 오류가 발생하지만, STRCNN+DTB에서는 이를 보정한다.
• 높은 노이즈와 인코딩 아티팩트가 있는 유튜브 영상에서도 강력한 일반화 성능를 보이며, 도전적인 조건에서도 선명한 프레임을 성공적으로 복원한다.
• 제거 실험 결과, 동적 블렌딩 레이어가 다양한 입력 프레임 수(3, 5, 7)에서 일관되게 PSNR를 향상시키며, STRCNN 단독 대비 최대 0.35 dB의 향상을 기록한다.
• 100개의 HD 프레임 처리 시, 가장 빠른 기존 배치 방법(Su 등 [32]의 NOALIGN 사용) 대비 1000배의 속도 향상을 달성하며, 약 12.5초로 처리되는 데 반해 다음으로 빠른 방법은 약 21초가 소요된다.