[논문 리뷰] Towards An End-to-End Framework for Flow-Guided Video Inpainting

Zhen Li, Cheng-Ze Lu외 3명|arXiv (Cornell University)|2022. 04. 06.

Advanced Vision and Imaging인용 수 10

한 줄 요약

이 논문은 흐름 유도 비디오 복원을 위한 엔드 투 엔드 프레임워크인 E2FGVI를 제안한다. 이는 유창한 흐름 보완, 특징 전파, 콘텐츠 환기 모듈을 학습 가능한 구성 요소를 사용해 동시에 최적화한다. 수작업으로 구성된 순차적 연산을 학습 가능한 모듈—특히 유창한 흐름 기반 특징 왜곡에 사용되는 변형 가능 컨볼루션과 장거리 맥락 모델링을 위한 시간적 초점 트랜스포머—로 대체함으로써, 유의미하게 향상된 추론 효율성과 시간적 일관성을 달성한다.

ABSTRACT

Optical flow, which captures motion information across frames, is exploited in recent video inpainting methods through propagating pixels along its trajectories. However, the hand-crafted flow-based processes in these methods are applied separately to form the whole inpainting pipeline. Thus, these methods are less efficient and rely heavily on the intermediate results from earlier stages. In this paper, we propose an End-to-End framework for Flow-Guided Video Inpainting (E$^2$FGVI) through elaborately designed three trainable modules, namely, flow completion, feature propagation, and content hallucination modules. The three modules correspond with the three stages of previous flow-based methods but can be jointly optimized, leading to a more efficient and effective inpainting process. Experimental results demonstrate that the proposed method outperforms state-of-the-art methods both qualitatively and quantitatively and shows promising efficiency. The code is available at https://github.com/MCG-NKU/E2FGVI.

연구 동기 및 목표

• 별도로 수작업으로 구성된 단계에 의존하는 기존 흐름 기반 비디오 복원 방법의 비효율성과 오차 누적 문제를 해결한다.
• 순차적 처리의 한계를 극복하기 위해 흐름 보완, 특징 전파, 콘텐츠 환기 모듈의 공동 최적화를 가능하게 한다.
• 콘텐츠 환기 과정에서 장거리 공간-시간적 의존성을 모델링하여 시간적 일관성을 향상하고 잡음 요소를 줄인다.
• 계산 비용이 높고 GPU 가속이 되지 않는 연산을 미분 가능하고 학습 가능한 구성 요소로 대체함으로써 추론 속도를 향상시킨다.
• 파ip라인 내에서 이전 단계의 중간 결과에 의존도를 줄여 오차 전파를 최소화한다.

제안 방법

• 마스크된 비디오 프레임에 대해 단일 단계의 옵티컬 플로우 보완을 수행하는 학습 가능한 플로우 보완 모듈을 제안하여 다단계 비가역적 과정을 대체한다.
• 유창한 흐름 궤적 沿해 공간적으로 적응적인 특징 샘플링을 가능하게 하는 변형 가능 컨볼루션을 사용한 유창한 흐름 기반 특징 전파 모듈을 도입한다.
• 콘텐츠 환기 모듈에 시간적 초점 트랜스포머를 활용하여 공간적 및 시간적 차원에서 국소적 및 비국소적 의존성을 모두 모델링한다.
• 모든 세 모듈(플로우 보완, 특징 전파, 콘텐츠 환기)이 훈련 중에 공동 최적화되는 엔드 투 엔드 학습 가능한 프레임워크를 설계한다.
• 옵티컬 플로우 기반의 미분 가능 왜곡 함수를 사용하여 가시 영역의 특징을 마스크된 영역으로 전파하며, 변형 가능 컨볼루션의 학습 가능한 오프셋을 활용한다.
• 최종 단계에서 사전 학습된 이미지 복원 네트워크의 사용을 제거하고, 시간 일관성을 유지하는 엔드 투 엔드 학습된 콘텐츠 생성 과정으로 대체한다.

실험 결과

연구 질문

• RQ1 완전히 엔드 투 엔드 학습 가능한 프레임워크가 정확성과 효율성 측면에서 기존 흐름 기반 비디오 복원 방법을 초월할 수 있는가?
• RQ2 흐름 보완, 특징 전파, 콘텐츠 환기 모듈의 공동 최적화가 순차적 수작업 파이프라인에 비해 오차 누적을 얼마나 줄이는가?
• RQ3 특징 전파에 변형 가능 컨볼루션을 통합함으로써 잘못된 옵티컬 플로우에 대한 강건성은 얼마나 향상되는가?
• RQ4 제안된 시간적 초점 트랜스포머는 일관성 있는 비디오 생성을 위해 장거리 공간-시간적 의존성을 얼마나 효과적으로 모델링하는가?
• RQ5 콘텐츠 환기 모듈에서 다양한 어텐션 메커니즘을 사용할 경우 성능와 계산 비용 간의 상충 관계는 어떻게 나타나는가?

주요 결과

• E2FGVI는 두 가지 벤치마크 데이터셋에서 SOTA 성능을 달성했으며, DAVIS 데이터셋에서 PSNR 32.35, SSIM 0.9688를 기록하여 이전 방법들을 능가했다.
• 이 방법은 432×240 해상도, 약 70 프레임의 비디오에 대해 추론 시간을 1초 이내로 줄여, 이전 방법들인 DFVI와 비교해 약 4분이 소요되던 것에 비해 유의미하게 빠르게 되었다.
• 제거 분석 결과, 특징 전파 모듈에서 유창한 흐름 기반 왜곡과 변형 가능 컨볼루션을 조합한 것이 가장 높은 PSNR(32.35)와 SSIM(0.9688)를 기록했으며, 플로우 전용 또는 변형 가능 컨볼루션 전용 버전보다 뛰어난 성능을 보였다.
• 시간적 초점 트랜스포머는 성능과 계산량 사이에 유리한 트레이드오프를 달성했으며, PSNR(31.73), SSIM(0.9653)가 일반 글로벌 어텐션(31.74/0.9662)과 유사한 수준이지만 FLOPs가 25% 낮았다.
• 정성적 결과는 FGVC 및 FuseFormer과 같은 SOTA 방법에 비해 뛰어난 시간적 일관성과 더 적은 잡음 요소를 보여주었으며, 특히 복잡한 운동이나 상세 정보가 손실된 영역에서 뚜렷한 우수성을 보였다.
• 실패 사례 분석 결과, 큰 운동량이나 광범위한 객체 세부 정보 손실은 여전히 도전 과제로 남아 있어, 극단적인 조건에서 현재의 플로우 추정 및 전파 기술의 한계를 드러냈다.