[논문 리뷰] A Temporally-Aware Interpolation Network for Video Frame Inpainting

Ximeng Sun, Ryan Szeto외 1명|arXiv (Cornell University)|2018. 03. 20.

Generative Adversarial Networks and Image Synthesis참고 문헌 39인용 수 3

한 줄 요약

이 논문은 KTH Actions, HMDB-51, 및 UCF-101 데이터셋에서 최고 성능을 기록하는 새로운 딥러닝 프레임워크를 제안한다. 이 프레임워크는 공유된 컨volutional LSTM 인코더-디코더를 사용해 인접한 프레임에서 전방 및 후방 예측을 먼저 수행한 후, 시간에 민감한 블렌딩과 숨겨진 특징 융합을 통해 일관성 문제를 해결하고 정확도를 향상시키는 시간 인식 보간(TAI) 네트워크를 사용해 누락된 중간 프레임을 생성한다.

ABSTRACT

We propose the first deep learning solution to video frame inpainting, a challenging instance of the general video inpainting problem with applications in video editing, manipulation, and forensics. Our task is less ambiguous than frame interpolation and video prediction because we have access to both the temporal context and a partial glimpse of the future, allowing us to better evaluate the quality of a model's predictions objectively. We devise a pipeline composed of two modules: a bidirectional video prediction module, and a temporally-aware frame interpolation module. The prediction module makes two intermediate predictions of the missing frames, one conditioned on the preceding frames and the other conditioned on the following frames, using a shared convolutional LSTM-based encoder-decoder. The interpolation module blends the intermediate predictions to form the final result. Specifically, it utilizes time information and hidden activations from the video prediction module to resolve disagreements between the predictions. Our experiments demonstrate that our approach produces more accurate and qualitatively satisfying results than a state-of-the-art video prediction method and many strong frame inpainting baselines.

연구 동기 및 목표

• 이전 및 이후 프레임만을 사용하여 시간적으로 연속된 누락된 비디오 프레임을 복원하는 도전 과제를 해결하기 위해.
• 과거 및 미래 프레임의 양방향 시간적 맥락을 활용하여 비디오 프레임 인painting의 모호성을 줄이기 위해.
• 학습 가능한 블렌딩 메커니즘을 통해 이중 예측 간의 일관성 문제를 해결하고 예측 품질을 향상시키기 위해.
• 변동하는 수의 누락 프레임, 특히 장기간의 시퀀스를 포함한 다양한 상황에서도 일반화 가능한 모델을 개발하기 위해.
• 일般적인 비디오 인painting, 프레임 보간 또는 비디오 예측과는 구별되는, 딥러닝을 활용한 비디오 프레임 인painting의 새로운 벤치마크를 설정하기 위해.

제안 방법

• 이 방법은 공유된 컨volutional LSTM 기반 인코더-디코더를 사용하는 이중 비디오 예측 모듈을 활용하여, 이전 프레임에 조건화된 예측(전방 예측)과 이후 프레임에 조건화된 예측(후방 예측)을 각각 생성한다.
• 시간에 민감한 보간(TAI) 네트워크는 시간 단계 정보를 사용하여 예측된 프레임 쌍을 블렌딩함으로써 시간에 따라 적응하는 시간 인식 블렌딩을 가능하게 한다.
• TAI 네트워크는 비디오 예측 모듈의 은닉 활성화를 보조 입력으로 통합하여 예측 간의 공간적 일관성 문제를 해결한다.
• 블렌딩 네트워크는 VGG 블록을 활용한 U-Net 유사 아키텍처를 사용하며, 1D 컨volutional 커널을 학습하여 맥락에 따라 두 예측의 가중치를 동적으로 조정한다.
• 모델은 복원 손실(L1)과 적대적 손실을 포함한 병합된 손실 함수로 훈련되며, 학습 안정성을 확보하기 위해 디스criminator에 스펙트럼 정규화를 적용한다.
• 훈련 과정에서는 랜덤 수평 반전 및 시간 역전을 통한 데이터 증강 기법을 사용하며, 다양한 수의 누락 프레임을 가진 인간 동작 데이터셋을 대상으로 평가한다.

실험 결과

연구 질문

• RQ1 소규모 공간-시간 구멍 없이도, 이전 및 이후 프레임만을 제공받는 딥러닝 모델이 누락된 비디오 프레임을 효과적으로 복원할 수 있는가?
• RQ2 과거 및 미래 프레임에서 유도된 이중 예측을 어떻게 융합하여 비디오 프레임 인painting의 모호성을 줄이고 복원 품질을 향상시킬 수 있는가?
• RQ3 시간에 민감한 블렌딩과 은닉 특징 융합을 통합할 경우, 단순 평균화나 조기 융합 대비 예측 프레임의 일관성과 현실감이 얼마나 향상되는가?
• RQ4 TAI 네트워크는 고정된 수의 중간 프레임으로 훈련되었더라도, 다양한 수의 누락 프레임에 대해 일반화 가능한가?
• RQ5 비디오 예측, 프레임 보간, 일반적인 비디오 인painting 분야의 강력한 베이스라인과 비교해 볼 때, 제안된 방법은 정량적·정성적으로 어떻게 성능을 냈는가?

주요 결과

• 제안된 TAI 네트워크는 KTH Actions, HMDB-51, UCF-101 데이터셋에서 모든 비교 대조군, 특히 최고 성능의 비디오 예측 및 프레임 인painting 방법보다도 높은 PSNR 및 SSIM 점수를 기록한다.
• bi-TW 및 MC-Net 베이스라인 대비 뚜렷한 성능 향상을 보이며, 특히 장기간의 누락 시퀀스를 처리할 때 정량적 지표와 시각적 품질 모두에서 뛰어난 성능을 발휘한다.
• TAI 네트워크는 다양한 수의 누락 프레임에 대해 잘 일반화된다: 6~9개의 중간 프레임을 테스트한 결과 높은 성능를 유지하여 시간 인코딩의 효과적인 확장성을 입증한다.
• 제거 실험 결과, TAI 네트워크의 모든 구성 요소—시간 인식 블렌딩, 특징 융합, 이중 예측—이 성능 향상에 기여하며, 구성 요소 중 하나를 제거할 경우 PSNR 및 SSIM 점수가 떨어지는 것으로 확인되었다.
• 특히 운동 일관성과 공간 정렬이 중요한 복잡한 인간 동작 시퀀스에서, 베이스라인 대비 더 시각적으로 일관되고 시간적으로 조화로운 예측 결과를 생성한다.