[논문 리뷰] VORNet: Spatio-temporally Consistent Video Inpainting for Object Removal

Ya-Liang Chang, Zhe Yu Liu외 1명|arXiv (Cornell University)|2019. 04. 14.

Generative Adversarial Networks and Image Synthesis참고 문헌 49인용 수 6

한 줄 요약

VORNet은 영상 객체 제거를 위한 새로운 딥러닝 프레임워크로, 광학 흐름 워핑과 이미지 기반 복원 모델을 조합하여 시공간 일致성을 확보한다. SVOR 데이터셋에서 최신 기술 수준의 성능을 달성하며, 기존 방법에 비해 시간적 안정성과 시각적 품질을 크게 향상시킨다.

ABSTRACT

Video object removal is a challenging task in video processing that often requires massive human efforts. Given the mask of the foreground object in each frame, the goal is to complete (inpaint) the object region and generate a video without the target object. While recently deep learning based methods have achieved great success on the image inpainting task, they often lead to inconsistent results between frames when applied to videos. In this work, we propose a novel learning-based Video Object Removal Network (VORNet) to solve the video object removal task in a spatio-temporally consistent manner, by combining the optical flow warping and image-based inpainting model. Experiments are done on our Synthesized Video Object Removal (SVOR) dataset based on the YouTube-VOS video segmentation dataset, and both the objective and subjective evaluation demonstrate that our VORNet generates more spatially and temporally consistent videos compared with existing methods.

연구 동기 및 목표

• 이미지 기반 복원 모델을 프레임 단위로 적용할 때 발생하는 시간적 불일치 문제를 해결하기 위해.
• 후처리 없이도 공간적·시간적 일관성을 유지하는 학습 기반 영상 객체 제거 시스템을 개발하기 위해.
• 학습 및 평가를 위한 대규모이고 다양한 영상 데이터셋(SVOR)을 구축하기 위해.
• 광학 흐름과 GAN 손실을 조합한 새로운 아키텍처를 통해 영상 복원의 시각적 품질과 시간적 안정성을 향상시키기 위해.

제안 방법

• VORNet은 온라인 방식으로 영상 프레임을 순차적으로 처리하며, 이전 프레임의 배경 내용을 광학 흐름을 사용해 워핑하여 시간적 일관성을 확보한다.
• 가장 잘 훈련된 이미지 복원 모델(e.g., Yu et al. [50])을 통합하여 가려진 영역에 대해 신뢰할 수 있는 내용을 생성한다.
• 스킵 연결과 주의 메커니즘을 사용해 워핑된 배경 특징와 복원된 내용을 결합하는 정련 네트워크를 구성한다.
• 재구성 손실, 인식 손실(VGG 기반), 그리고 두 가지 GAN 손실(공간적 및 시간적 판별기)의 조합으로 모델을 훈련시킨다.
• 시간적 판별기는 실제 또는 가짜 영상 시퀀스를 구분함으로써 연속된 프레임 간의 일관성을 보장한다.
• 광학 흐름은 FlowNet2를 사용해 추정하며, 전체 파이프라인은 공동 최적화를 통해 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 학습 기반 접근법이 단일 프레임 기반 이미지 복원보다 영상 객체 제거에서 더 뛰어난 시공간 일관성을 달성할 수 있는가?
• RQ2 광학 흐름 워핑이 영상 복원에서 배경 운동을 유지하고 깜빡임을 줄이는 데 얼마나 효과적인가?
• RQ3 공간적 및 시간적 GAN 손실을 병합함으로써 시각적 품질과 시간적 안정성이 얼마나 향상되는가?
• RQ4 대규모이고 다양한 영상 객체 제거 데이터셋(SVOR)이 이러한 모델의 훈련 및 평가에 얼마나 유리한가?
• RQ5 제안된 VORNet이 정량적 및 정성적 지표에서 기존의 패치 기반 및 이미지 기반 영상 복원 방법을 모두 능가하는가?

주요 결과

• VORNet은 비교된 모든 방법 중에서 가장 낮은 MSE(0.01560)와 LPIPS(0.1889) 점수를 기록하여 우수한 재구성 및 인식 품질을 입증한다.
• 모델은 가장 높은 SSIM(0.7260) 점수를 기록하여 프레임 간의 구조적 일관성이 향상되었음을 보여준다.
• 절단 실험 결과, 워핑 네트워크, VGG 손실, 공간적 및 시간적 판별기 등 모든 구성 요소가 성능 향상에 기여한다는 것이 확인되었다.
• VORNet은 표준 GPU 환경에서 2.5 FPS로 실행되며, 패치 기반 영상 복원(0.15 FPS)보다 빠르고 일부 엔드 투 엔드 방법보다도 빠른 성능을 보였다.
• 시각적 평가 및 사용자 연구 결과, VORNet은 더 뛰어난 시간적 안정성과 현실적인 결과를 생성하며 깜빡임과 왜곡을 줄였다.
• 제안된 SVOR 데이터셋은 다양한 운동과 장면을 포함한 1,958개의 영상 쌍을 포함하여 영상 객체 제거 모델의 강력한 훈련 및 평가를 가능하게 한다.