[논문 리뷰] Frame-Recurrent Video Inpainting by Robust Optical Flow Inference

Yifan Ding, Chuan Wang외 4명|arXiv (Cornell University)|2019. 05. 08.

Advanced Vision and Imaging참고 문헌 34인용 수 14

한 줄 요약

이 논문은 ConvLSTM와 강력한 광학 흐름 생성 모듈을 조합한 프레임-반복형 비디오 복원 프레임워크를 제안한다. 이는 고품질의 시간적으로 일관된 비디오 복원을 달성한다. 인paint된 프레임과 원본 손상된 프레임의 광학 흐름을 학습 가능한 블렌딩 네트워크를 통해 융합함으로써, 정확한 운동 모델링과 임의의 길이와 해상도를 가진 비디오의 실시간 처리를 가능하게 하며, 품질과 효율성 측면에서 기존 최고 수준의 접근법을 능가한다.

ABSTRACT

In this paper, we present a new inpainting framework for recovering missing regions of video frames. Compared with image inpainting, performing this task on video presents new challenges such as how to preserving temporal consistency and spatial details, as well as how to handle arbitrary input video size and length fast and efficiently. Towards this end, we propose a novel deep learning architecture which incorporates ConvLSTM and optical flow for modeling the spatial-temporal consistency in videos. It also saves much computational resource such that our method can handle videos with larger frame size and arbitrary length streamingly in real-time. Furthermore, to generate an accurate optical flow from corrupted frames, we propose a robust flow generation module, where two sources of flows are fed and a flow blending network is trained to fuse them. We conduct extensive experiments to evaluate our method in various scenarios and different datasets, both qualitatively and quantitatively. The experimental results demonstrate the superior of our method compared with the state-of-the-art inpainting approaches.

연구 동기 및 목표

• 비디오 복원에서 시간적 일관성과 공간적 세부 정보를 유지하는 데 도전하는 데 목적을 두며, 특히 임의의 비디오 길이와 프레임 크기에서의 적용을 고려한다.
• 3D CNN이 큰 운동 변화와 높은 계산 비용을 처리하는 데 한계를 가지는 문제를 해결하는 것.
• 결손 영역(홀)이 있는 프레임에서도 효과적으로 작동하는 강력한 광학 흐름 추정 방법을 개발하는 것.
• 고정된 크기나 길이 제약 없이 실시간 스트리밍 비디오 복원을 가능하게 하는 것.
• 공간 모델링을 위한 이미지 복원과 시간 모델링을 위한 ConvLSTM을 통합하여 더 뛰어난 재구성 품질을 달성하는 것.

제안 방법

• 시간적 의존성을 모델링하기 위해 ConvLSTM 기반 아키텍처를 사용하며, 운동 일관성을 유지하기 위해 광학 흐름을 중간 표현으로 활용한다.
• 강력한 광학 흐름 생성 모듈은 인paint된 프레임에서 유래한 흐름과 원본 손상된 프레임에서 유래한 흐름을 학습 가능한 블렌딩 네트워크를 통해 융합한다.
• 블렌딩 네트워크는 흐름을 적응적으로 조합함으로써 오류를 감소시키고, 홀 영역에서의 운동 추정 정확도를 향상시킨다.
• 공간 네트워크(예: PartialConv)를 사용해 각 프레임별로 이미지 복원을 수행함으로써 시간적 보정 이전에 프레임 내용을 초기화한다.
• 공동 손실 함수를 통해 공간적 일관성과 시간적 일관성을 균형 잡으며, 깜빡임을 최소화하고 시각적 품질을 향상시킨다.
• 프레임워크는 스트리밍 방식으로 비디오를 처리하여, 임의의 길이와 고해상도 비디오에서 실시간 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 3D CNN을 사용하지 않고도 ConvLSTM 기반의 프레임-반복 아키텍처가 비디오 복원에서 장거리 시간적 의존성을 효과적으로 모델링할 수 있는가?
• RQ2 결손 영역이 있는 프레임에서 정확한 광학 흐름을 어떻게 추정할 수 있을까? 이를 통해 시간적 재구성에 기여할 수 있는가?
• RQ3 단일 소스 흐름을 사용하는 것보다 학습 가능한 흐름 블렌딩 메커니즘이 운동 추정의 강건성을 향상시킬 수 있는가?
• RQ4 제안된 방법이 다양한 마스크 유형과 데이터셋에서 높은 시각적 품질과 시간적 일관성에서 뛰어난 성능을 달성할 수 있는가?
• RQ5 기존 3D-CNN 기반 방법과 달리, 이 프레임워크는 임의의 길이와 해상도의 비디오를 실시간으로 처리할 수 있는가?

주요 결과

• 제안된 방법은 고정된 사각형, 랜덤 사각형, 무작위 워커 마스크 유형을 포함한 모든 마스크 유형에서 FaceForensics 및 DAVIS+VIDEVO 데이터셋에서 최고 수준의 성능을 달성한다.
• 절단 실험 결과, ConvLSTM 모듈이 홀드아웃 방식의 복원보다 깜빡임 아티팩트를 크게 감소시켜 시간적 일관성을 크게 향상시킨다는 것이 확인되었다.
• 흐름 블렌딩 네트워크는 광학 흐름 오차를 감소시켜 더 정확한 운동 모델링과 더 나은 재구성 결과를 이끌어내며, 특히 큰 운동 변화에 유리하다.
• PartialConv-only 및 ConvLSTM-only 기반 모델보다 성능이 뛰어나, 공간적 모델링과 시간적 모델링의 상호보완적 강점을 입증한다.
• 정량적 결과에서는 기존 방법보다 낮은 L1 손실과 높은 FID/SSIM 점수를 기록하였으며, 모든 평가 설정에서 일관된 성능 향상을 보였다.
• 프레임워크는 고정된 길이나 해상도 제약 없이 임의의 길이와 해상도의 비디오에서 실시간 스트리밍 추론을 가능하게 하여, 이전 3D-CNN 기반 접근법의 핵심 한계를 극복하였다.