[논문 리뷰] Decoupled Spatial-Temporal Transformer for Video Inpainting

Rui Liu, Hanming Deng외 7명|arXiv (Cornell University)|2021. 04. 14.

Generative Adversarial Networks and Image Synthesis참고 문헌 34인용 수 47

한 줄 요약

Decoupled Spatial-Temporal Transformer(DSTT)와 계층적 인코더를 도입하여 시간 객체 움직임과 배경 질감 전파를 분리해 비디오 인페인팅을 효율적으로 수행하고, 더 높은 효율성으로 최첨단 성능을 달성합니다.

ABSTRACT

Video inpainting aims to fill the given spatiotemporal holes with realistic appearance but is still a challenging task even with prosperous deep learning approaches. Recent works introduce the promising Transformer architecture into deep video inpainting and achieve better performance. However, it still suffers from synthesizing blurry texture as well as huge computational cost. Towards this end, we propose a novel Decoupled Spatial-Temporal Transformer (DSTT) for improving video inpainting with exceptional efficiency. Our proposed DSTT disentangles the task of learning spatial-temporal attention into 2 sub-tasks: one is for attending temporal object movements on different frames at same spatial locations, which is achieved by temporally-decoupled Transformer block, and the other is for attending similar background textures on same frame of all spatial positions, which is achieved by spatially-decoupled Transformer block. The interweaving stack of such two blocks makes our proposed model attend background textures and moving objects more precisely, and thus the attended plausible and temporally-coherent appearance can be propagated to fill the holes. In addition, a hierarchical encoder is adopted before the stack of Transformer blocks, for learning robust and hierarchical features that maintain multi-level local spatial structure, resulting in the more representative token vectors. Seamless combination of these two novel designs forms a better spatial-temporal attention scheme and our proposed model achieves better performance than state-of-the-art video inpainting approaches with significant boosted efficiency.

연구 동기 및 목표

• 시간적 일관성과 질감 품질을 유지하는 강건하고 효율적인 비디오 인페인팅을 동기화합니다.
• 연산을 줄이도록 공간 및 시간 주의를 분리하는 Transformer 기반 프레임워크를 개발합니다.
• 주의 기반 전파 이전에 다중 레벨 로컬 공간 구조를 보존하기 위해 계층적 인코더를 도입합니다.
• 향상된 효율성으로 표준 비디오 데이터셋에서 비디오 완성 및 객체 제거에 대해 최첨단 성능을 입증합니다.

제안 방법

• 다중 수준 피처를 프레임별로 혼합해 강건한 토큰 표현을 생성하는 계층적 인코더를 제안합니다.
• 두 개의 Transformer 블록으로 이루어진 교차 스택을 사용합니다: 시간적으로 같은 공간 영역에 걸친 시간적 분리 주의(TD)와 각 프레임 내 모든 토큰에 걸친 공간적 분리 주의(SD).
• 피처 맵을 s×s 구역으로 분할하여 시간적 주의와 공간적 주의를 더 쉽고 효율적으로 만듭니다.
• 교대적인 TDB-SDB 패턴으로 블록을 쌓아 시공간 전파를 충분히 가능하게 합니다.
• 비디오를 마스킹하고 재구성 손실(L_hole, L_valid, L_adv))으로 재구성하고 적대적 손실을 이용해 끝까지 학습합니다.
• G = G_HE ∘ G_DSTT ∘ G_Dec로 구성되며, G_HE는 계층적 인코더, G_DSTT는 분리된 Transformer 스택, G_Dec는 CNN 디코더입니다.

실험 결과

연구 질문

• RQ1 공간 및 시간 주의 분리를 통해 계산 비용을 줄이면서 인페인팅 품질을 유지하거나 향상시킬 수 있는가?
• RQ2 계층적 인코더가 Transformer 기반 비디오 인페인팅의 표현 품질을 향상시키는가?
• RQ3 temporally-decoupled와 spatially-decoupled 블록의 교차 패턴이 재구성 품질과 효율성에 어떤 영향을 미치는가?
• RQ4 표준 비디오 데이터셋에서 PSNR/SSIM/VFID 및 속도 측면에서 최첨단 방법과 비교한 이점은 무엇인가?
• RQ5 비디오 완성과 객체 제거 작업 모두에 대해 방법이 견고한가?

주요 결과

• DSTT가 비디오 완성에서 YouTube-VOS 및 DAVIS에서 최첨단 PSNR 및 경쟁력 있는 SSIM 및 VFID를 달성합니다.
• 제안된 방법은 보고된 방법들 중에서 가장 높은 FPS(37.3)를 달성하고 상대적으로 낮은 FLOPs(128B)를 기록합니다.
• 계층적 인코더의 제거로 PSNR가 최대 약 0.4포인트 상승하고 VFID가 감소하는 등 다중 레벨 피처 혼합의 이점을 확인합니다.
• 피처 맵을 구역으로 분할(s=2)하면 전역Attention(s=1)이나 너무 촘촘한 구역(s>4)보다 정확도-효율성 트레이드오프가 더 우수합니다.
• temporally-decoupled 및 spatially-decoupled 블록의 교차 반복은 단일 블록 변형보다 일관되게 우수한 재구성 품질과 효율성을 제공하며 시공간 전파의 이점을 강조합니다.