[논문 리뷰] Robust High-Resolution Video Matting with Temporal Guidance

Shanchuan Lin, Linjie Yang외 2명|arXiv (Cornell University)|2021. 08. 25.

Image Enhancement Techniques인용 수 13

한 줄 요약

이 논문은 고해상도 인간 영상 마스킹에서 시간적 일관성과 강인성을 향상시키기 위해 시간적 가이던스를 갖춘 순환 아키텍처를 사용하는 경량 실시간 영상 마스킹 방법을 제안한다. 마스킹과 세분화 목표 함수를 함께 훈련시킴으로써 모델은 최신 기술 수준의 성능을 달성하며, 트림랩이나 사전 촬영된 배경이 필요 없이 4K 영상에서 76 FPS, HD에서 104 FPS로 처리한다.

ABSTRACT

We introduce a robust, real-time, high-resolution human video matting method that achieves new state-of-the-art performance. Our method is much lighter than previous approaches and can process 4K at 76 FPS and HD at 104 FPS on an Nvidia GTX 1080Ti GPU. Unlike most existing methods that perform video matting frame-by-frame as independent images, our method uses a recurrent architecture to exploit temporal information in videos and achieves significant improvements in temporal coherence and matting quality. Furthermore, we propose a novel training strategy that enforces our network on both matting and segmentation objectives. This significantly improves our model's robustness. Our method does not require any auxiliary inputs such as a trimap or a pre-captured background image, so it can be widely applied to existing human matting applications.

연구 동기 및 목표

• 트림랩이나 배경 이미지와 같은 보조 입력에 의존하지 않고 시간적 일관성과 강인성을 향상시킨 실시간 고해상도 영상 마스킹 방법을 개발하는 것.
• 프레임 간 독립적인 마스킹 방법이 시간적 일관성을 忽시하고 플리커 및 잡음과 같은 문제를 야기하는 한계를 해결하는 것.
• 마스킹과 세분화 목표 함수를 함께 훈련시켜 모델의 일반화 능력을 향상시키고, 합성 데이터 분포에 대한 과적합을 줄이는 것.
• 영상 회의 및 콘텐츠 제작과 같은 실세계 응용 분야에 실용적으로 구현 가능하도록 빠른 추론과 고품질 결과를 보장하는 것.

제안 방법

• 시간적 의존성을 모델링하기 위해 은닉 상태를 활용하는 순환 신경망 아키텍처를 사용하여 시간적 일관성을 향상시킨다.
• 마스킹 예측과 세분화를 동시에 최적화하는 새로운 훈련 전략을 도입하여 실제 영상의 변동에 대한 강인성을 향상시킨다.
• 고해상도 알파 마스크 예측을 정밀하게 보정하기 위해 순환 디코더 특징을 활용한 깊이 있는 가이드 필터(DGF)를 사용한다.
• 효율적인 특징 추출과 고해상도 출력을 위해 경량의 MobileNetV3 기반 인코더와 LR-ASPP를 채택한다.
• 합성 마스킹 데이터와 실제 이미지 세분화 감독을 조합한 훈련 파이프라인을 설계하여 도메인 간 차이를 줄인다.
• 외부 입력(예: 트림랩 또는 사전 촬영된 배경)이 필요 없게 되어 즉시 사용 가능한 배포가 가능해진다.

Figure 1 : Our network consists of a feature-extraction encoder, a recurrent decoder, and Deep Guided Filter (DGF) module. To process high-resolution videos, the input is first downsampled for the encoder-decoder network, then DGF is used to upsample the result.

실험 결과

연구 질문

• RQ1 프레임 간 독립적인 방법과 비교해 볼 때, 순환 아키텍처가 고해상도 영상 마스킹에서 시간적 일관성을 크게 향상시킬 수 있는가?
• RQ2 마스킹과 세분화 목표 함수를 함께 훈련시키면 실제 영상의 변동에 대한 강인성이 향상되고 합성 데이터에 대한 과적합이 줄어드는가?
• RQ3 배경 재구성이 어려운 동적 배경이나 복잡한 시점에서 제안된 방법은 어떻게 성능을 내는가?
• RQ4 기본 가이드 필터와 비교해 깊이 있는 가이드 필터(DGF)가 세부 사항 정확도와 시간적 일관성에 얼마나 기여하는가?
• RQ5 경량 모델이 4K 및 HD 영상에서 실시간 추론을 유지하면서도 최신 기술 수준의 성능를 달성할 수 있는가?

주요 결과

• NVIDIA GTX 1080Ti를 사용하여 4K 영상에서 76 FPS, HD 영상에서 104 FPS로 처리하며 이전 방법들보다 빠른 속도와 높은 모델 효율성을 확보했다.
• COCO 검증 세트에서 인간 세분화에 대해 61.50 mIOU를 기록하여 실제 이미지에서 뛰어난 강인성을 입증했다.
• 세분화 목표 함수와 함께 훈련시킴으로써 일반화 능력 향상: 임계값이 0.5인 알파에 대해 60.88 mIOU를 기록한 반면, 세분화 감독 없이 훈련한 경우는 단지 38.24 mIOU에 머물렀다.
• 깊이 있는 가이드 필터(DGF)는 FGF 대비 Grad 지표를 1.38 포인트 향상시키고 dtSSD를 0.25 감소시켜 더 높은 세부 사항 정확도와 시간적 일관성을 확보했다.
• 동적 배경에서는 BGMv2(비일치 상황에서 실패)와 MODNet보다 우수한 성능을 보였으며, MAD(7.50 vs. 11.23)와 MSE(2.80 vs. 5.65)가 모두 낮았다.
• ResNet50 기반의 더 큰 모델과 확장된 디코더 채널을 사용하면 102.9 MB 메모리에서 71.1 FPS로 처리되며, 성능 지표도 향상됨(MAD: 5.81, Grad: 9.65)으로서 서버 기반 응용에 대한 확장성이 입증되었다.

(a) Alpha Detail