[논문 리뷰] Real-Time High-Resolution Background Matting

Shanchuan Lin, Andrey Ryabtsev외 4명|arXiv (Cornell University)|2020. 12. 14.

Image Enhancement Techniques참고 문헌 19인용 수 11

한 줄 요약

이 논문은 크로마키 마스킹을 기반으로 한 두 개의 대규모 데이터셋—VideoMatte240K와 PhotoMatte13K/85—을 활용하여 실시간으로 고해상도 배경 매트팅을 구현하는 방법을 제시한다. 이는 4K에서 30fps, HD에서 60fps의 성능을 달성하며, 저해상도 기반 네트워크와 오차 예측 기능을 갖춘 두 단계의 신경망 아키텍처를 사용한다. 이 방법은 품질과 속도 면에서 새로운 최고 기록을 수립하며, 특히 털줄기 같은 세밀한 디테일을 효과적으로 유지한다.

ABSTRACT

We introduce a real-time, high-resolution background replacement technique which operates at 30fps in 4K resolution, and 60fps for HD on a modern GPU. Our technique is based on background matting, where an additional frame of the background is captured and used in recovering the alpha matte and the foreground layer. The main challenge is to compute a high-quality alpha matte, preserving strand-level hair details, while processing high-resolution images in real-time. To achieve this goal, we employ two neural networks; a base network computes a low-resolution result which is refined by a second network operating at high-resolution on selective patches. We introduce two largescale video and image matting datasets: VideoMatte240K and PhotoMatte13K/85. Our approach yields higher quality results compared to the previous state-of-the-art in background matting, while simultaneously yielding a dramatic boost in both speed and resolution.

연구 동기 및 목표

• 그린 스크린이 없이도 실시간으로 고해상도 배경 매트팅을 가능하게 하여 실용적인 비디오 회의 응용에 기여하기 위해.
• 4K 및 HD 비디오 처리 시 털줄기 같은 세밀한 디테일을 실시간으로 유지하는 데 도전하기 위해.
• 이전 방법들이 너무 느리거나 해상도가 낮거나 수동 트림랩(annotation)이 필요로 하는 한계를 극복하기 위해.
• 다양한 인간 자세와 배경에 대해 일반화 가능한 확장 가능한 종단 간(end-to-end) 훈련 가능한 시스템을 개발하기 위해.

제안 방법

• 두 단계의 신경망 아키텍처: 기반 네트워크는 입력을 저해상도로 처리하여 거친 알파 매트 및 전경을 예측하고, 보정 네트워크는 고해상도에서 오류가 있는 영역에만 적용된다.
• 기반 네트워크는 고해상도 보정이 필요한 패치를 식별하는 오차 예측 지ap을 출력하여 불필요한 계산을 최소화한다.
• 보정 네트워크는 13×13의 수신장(field)을 가진 3×3 컨볼루션 레이어 스택을 사용하여 선택된 영역의 디테일 선명도를 향상시키며, 점 기반 1×1 커널 보정보다 우수한 성능을 보인다.
• 이 방법은 크로마키 소프트웨어를 통해 추출한 고품질 알파 매트를 기반으로 한 두 개의 새로운 대규모 데이터셋—VideoMatte240K(240K개의 비디오 프레임)와 PhotoMatte13K/85(13,000장의 이미지)—에서 훈련된다.
• 훈련 파이프라인은 이들 데이터셋의 다양한 고해상도 데이터와 수동으로 코딩된 데이터셋을 결합하여 일반화 능력과 세밀한 디테일 학습 능력을 향상시킨다.
• 고해상도 보정을 전체 이미지의 5–10% 영역에만 제한함으로써 추론 속도를 최적화하여 현대 GPU에서 실시간 성능을 달성한다.

(a) VideoMatte240K

실험 결과

연구 질문

• RQ1 수동 트림랩 입력이나 그린 스크린 없이도 완전 자동화된 실시간 배경 매트팅 시스템이 4K 해상도에서 고품질 결과를 낼 수 있는가?
• RQ2 실시간 비디오 처리에서 특히 털줄기 같은 세밀한 구조의 고해상도 디테일 유지가 어떻게 효율적으로 달성될 수 있는가?
• RQ3 대규모 고품질 데이터셋은 실제 환경의 매트팅 시나리오에서 일반화 능력과 성능 향상에 어떤 역할을 하는가?
• RQ4 선택적 패치 기반 보정이 전체 이미지 보정보다 속도와 품질 면에서 뛰어나면서도 정밀도를 유지할 수 있는가?

주요 결과

• 제안된 방법은 현대 GPU에서 4K 해상도에서 30fps, HD 해상도에서 60fps의 성능을 달성하여 이전의 최고 기록을 크게 뛰어넘었다.
• Distinctions 테스트 세트에서 SAD 9.19, MSE 7.08, Grad 6345, Conn 7216의 성능을 기록하며, BGM(SAD: 16.07, MSE: 21.00) 및 기타 기준 모델들을 능가했다.
• 훈련에서 VideoMatte240K, PhotoMatte13K, 또는 Distinctions 데이터셋을 제거하면 성능에 명백한 감소가 발생하여 이들 데이터셋이 모델 품질 향상에 기여한다는 점을 확인했다.
• 이미지 영역의 5–10%만 보정할 경우 속도와 품질 사이의 최적의 균형을 이룬다. 전체 이미지 보정 시 추론 속도는 4K 전체 해상도에서 42.8fps로 떨어진다.
• 3×3 커널은 더 큰 수신장 덕분에 1×1 커널보다 더 우수한 결과를 내며, 디테일의 선명도를 향상시킨다.
• 주로 배경에 그림자나 색상이 유사하거나 배경이 매우 무늬가 많은 경우 실패 케이스가 발생하며, 이러한 상황에서는 한계가 드러난다.

(b) PhotoMatte13K/85