[논문 리뷰] Video Inpainting by Jointly Learning Temporal Structure and Spatial Details

Chuan Wang, Haibin Huang외 2명|arXiv (Cornell University)|2018. 06. 22.

Advanced Image Processing Techniques참고 문헌 39인용 수 10

한 줄 요약

이 논문은 3D 완전 컨volution 네트워크를 이용해 저해상도의 시간적 구조를 예측하고, 2D 완전 컨볼루션 네트워크를 이용해 고해상도의 공간적 세부 정보를 복구하는 이중 브랜치 아키텍처를 사용하여 시간적 구조와 공간적 세부 정보를 동시에 학습하는 새로운 엔드 투 엔드 딥 러닝 프레임워크를 제안한다. 이 방법은 시각적 품질과 시간적 일관성 측면에서 이전의 학습 기반 접근법을 능가하는 성능을 달성하며, 세 가지 벤치마크 데이터셋에서 뛰어난 성능을 보였다.

ABSTRACT

We present a new data-driven video inpainting method for recovering missing regions of video frames. A novel deep learning architecture is proposed which contains two sub-networks: a temporal structure inference network and a spatial detail recovering network. The temporal structure inference network is built upon a 3D fully convolutional architecture: it only learns to complete a low-resolution video volume given the expensive computational cost of 3D convolution. The low resolution result provides temporal guidance to the spatial detail recovering network, which performs image-based inpainting with a 2D fully convolutional network to produce recovered video frames in their original resolution. Such two-step network design ensures both the spatial quality of each frame and the temporal coherence across frames. Our method jointly trains both sub-networks in an end-to-end manner. We provide qualitative and quantitative evaluation on three datasets, demonstrating that our method outperforms previous learning-based video inpainting methods.

연구 동기 및 목표

• 복잡한 외관과 큰 누락 영역을 가진 고품질 비디오 인painting의 과제를 해결하기 위해.
• 시간적 일관성을 유지하면서도 고해상도 공간 해상도와 의미론적 일관성을 유지하기 위해.
• 직접적인 3D 이미지 인painting 방법의 확장은 종종 시간에 따라 흔들리는 결과를 초래하므로, 이러한 한계를 극복하기 위해.
• 시간적 구조 가이던스가 공간적 세부 정보 복구를 향상시키고, 반대로 공간적 세부 정보 복구가 시간적 구조 예측을 향상시키는 상호 보완적인 공동 학습 프레임워크를 설계하기 위해.
• 서로의 손실을 통해 상호 감독을 제공함으로써 양 하위 네트워크를 동시에 향상시키는 엔드 투 엔드 훈련을 가능하게 하기 위해.

제안 방법

• 저해상도 비디오 볼륨에서 시간적 구조를 예측하기 위해 3D 완전 컨볼루션 인코더-디코더 네트워크(3DCN)를 사용하여 운동과 전반적인 맥락을 포착한다.
• 3DCN은 시간적으로 일관된 원시 비디오 볼륨을 출력하며, 이는 공간적 세부 정보 네트워크의 가이던스로 기능한다.
• 공간적 세부 정보 네트워크는 원본 비디오와 3D 예측 구조를 입력으로 사용하여 고해상도 프레임을 복구한다.
• 공간적 세부 정보 네트워크는 전역적 및 국소적 $l_1$ 일관성 손실을 활용하여 프레임 간에 현실적이며 일관된 이미지 세부 정보를 보장한다.
• 두 하위 네트워크는 엔드 투 엔드로 공동 훈련되며, 공간적 세부 정보 손실이 3DCN으로 역전파되어 시간적 구조 예측을 정교화할 수 있다.
• 3D 시간적 가이던스를 2D 공간 추론에 융합함으로써 누락 영역의 정확하고 일관된 복구를 가능하게 한다.

실험 결과

연구 질문

• RQ1 이중 단계의 3D-2D CNN 아키텍처는 시간적 구조와 공간적 세부 정보를 동시에 학습하여 비디오 인painting 품질을 향상시킬 수 있는가?
• RQ2 저해상도 3D 네트워크에서 유도된 시간적 구조 가이던스는 고해상도 프레임 복구의 현실성과 일관성에 어떤 영향을 미치는가?
• RQ3 엔드 투 엔드 공동 훈련 전략은 시간적 및 공간적 하위 네트워크 성능에 어떤 영향을 미치는가?
• RQ4 큰 또는 비정형 누락 영역을 가진 비디오를 처리할 때, 제안된 방법은 기준 대비 어떤 성능을 보이는가?
• RQ5 이 방법은 훈련 데이터에서의 큰 운동 또는 분포 이탈을 처리하는 데 어떤 한계를 가질까?

주요 결과

• 제안된 방법은 세 가지 데이터셋에서 정성적 및 정량적 평가 모두에서 이전의 학습 기반 비디오 인painting 방법을 능가하는 성능을 보였다.
• 공동 훈련 전략은 CombCN의 수렴 오차 6.39와 3DCN의 수렴 오차 9.51을 달성하여 기준 모델의 4.20과 4.45보다 유의미하게 향상된 성능을 보였다.
• 제거 실험에서 3DCN을 사전 훈련한 후 CombCN을 미세 조정하는 방식(본 연구의 방법)이 초기 학습 또는 3DCN 고정 방식보다 더 빠른 수렴과 낮은 손실을 보였다.
• 3DCN에서 시간 축의 다운샘플링을 적용한 변형은 수렴 오차를 3DCN의 11.56과 CombCN의 8.13으로 증가시켜 시간적 세부 정보 손실로 인한 성능 저하를 확인했다.
• 큰 운동이나 뚜렷한 시점 변화가 있는 비디오에서는 실패 케이스가 관찰되어 3DCN의 수용장치를 초월하는 큰 옵티컬 플로우 처리에 한계가 있음을 시사했다.
• 이 방법은 GAN을 사용하지 않으며 오직 $l_1$ 손실에 의존하므로, GAN 기반 이미지 인painting에 비해 현실성 측면에서 한계가 있을 수 있으며, 향후 연구의 잠재적 방향성을 시사한다.