[논문 리뷰] Is a Green Screen Really Necessary for Real-Time Portrait Matting?

Zhanghan Ke, Kaican Li외 5명|arXiv (Cornell University)|2020. 11. 24.

Image Enhancement Techniques참고 문헌 46인용 수 45

한 줄 요약

이 논문은 단일 이미지에서 그린 스크린이나 트림랩을 요구하지 않고 고품질의 알파 매트릭스 예측을 수행할 수 있는 경량이며 실시간인 포트레이트 매트팅 네트워크인 MODNet을 제안한다. 명시적인 제약 조건을 적용한 다중 하위목표의 동시 최적화와 자기지도 학습 기반 적응 및 한 프레임 지연 기법을 통해 MODNet은 63 FPS로 작동하며, 실제 이미지와 영상에서 이전의 트림랩 없는 방법들보다 뛰어난 성능을 보인다.

ABSTRACT

For portrait matting without the green screen, existing works either require auxiliary inputs that are costly to obtain or use multiple models that are computationally expensive. Consequently, they are unavailable in real-time applications. In contrast, we present a light-weight matting objective decomposition network (MODNet), which can process portrait matting from a single input image in real time. The design of MODNet benefits from optimizing a series of correlated sub-objectives simultaneously via explicit constraints. Moreover, since trimap-free methods usually suffer from the domain shift problem in practice, we introduce (1) a self-supervised strategy based on sub-objectives consistency to adapt MODNet to real-world data and (2) a one-frame delay trick to smooth the results when applying MODNet to portrait video sequence. MODNet is easy to be trained in an end-to-end style. It is much faster than contemporaneous matting methods and runs at 63 frames per second. On a carefully designed portrait matting benchmark newly proposed in this work, MODNet greatly outperforms prior trimap-free methods. More importantly, our method achieves remarkable results in daily photos and videos. Now, do you really need a green screen for real-time portrait matting?

연구 동기 및 목표

• 실시간 포트레이트 매트팅에서 그린 스크린이나 비용이 많이 드는 보조 입력 자료가 필요 없도록 하는 것.
• 실제 이미지에 적용했을 때 흔히 발생하는 트림랩 없는 매트팅 방법의 도메인 이탈 문제를 해결하는 것.
• 비디오 응용 프로그램을 위한 실시간 추론을 가능하게 하는 경량의 단일 모델 솔루션을 개발하는 것.
• 일상적인 사진과 영상에서 제약 조건이 없는 환경에서의 매트팅 결과의 강건성과 일관성을 향상시키는 것.

제안 방법

• 서로 관련된 하위목표(예: 거친, 세밀한, 깊은 특징)를 동시에 명시적 최적화 기법을 사용해 최적화하는 다중 작업 학습 프레임워크 설계.
• 실제 데이터에 대한 모델 적응을 위해 하위목표 예측 기반 자기지도 학습 일致성 손실 도입 — 지표 트림랩이 필요 없음.
• 비디오 시퀀스 추론 시 한 프레임 지연 기법을 적용하여 시간적 불일치를 완화하고 시각적 품질을 향상.
• 단일 입력 이미지와 해당 알파 매트릭스만을 사용하여 전체 네트워크를 종단 간 방식으로 훈련.
• 고속 추론을 보장하기 위해 경량 아키텍처를 활용하여 표준 하드웨어에서 63 프레임/초 달성.
• 실제 제약 조건이 없는 데이터에서 성능 평가를 위해 새로운 포트레이트 매트팅 벤치마크 도입.

실험 결과

연구 질문

• RQ1 단일이고 경량인 딥 러닝 모델이 그린 스크린이나 트림랩에 의존하지 않고 실시간으로 포트레이트 매트팅을 수행할 수 있는가?
• RQ2 트림랩 없는 포트레이트 매트팅에서 훈련 데이터와 실제 데이터 간의 도메인 이탈 문제는 어떻게 완화할 수 있는가?
• RQ3 계산 비용 증가 없이 비디오 시퀀스의 시간적 일관성을 향상시키는 데 어떤 기법이 효과적인가?
• RQ4 다중 목표 네트워크의 종단 간 훈련이 다단계 또는 보조 입력에 의존하는 모델보다 더 뛰어난 성능을 낼 수 있는가?

주요 결과

• MODNet은 63 프레임/초의 추론 속도를 기록하여 실시간 성능에서 동종 기술들보다 뚜렷이 뛰어난 성능을 보였다.
• 새로가 제안한 포트레이트 매트팅 벤치마크에서 MODNet은 모든 이전의 트림랩 없는 방법보다 정량적 지표와 시각적 품질 모두에서 슈퍼리어한 성능을 보였다.
• 자기지도 학습 기반 일관성 전략은 도메인 이탈을 효과적으로 줄여 추가 애너테이션 없이도 실제 사진에 대해 강력한 일반화 성능을 달성했다.
• 한 프레임 지연 기법은 실시간 추론 속도를 유지하면서도 비디오 매트팅의 시간적 스무딩을 성공적으로 향상시켰다.
• MODNet은 일상적인 사진과 영상에서 고품질의 알파 매트릭스를 생성하여 그린 스크린이 필요 없이 실용적인 사용이 가능함을 입증했다.
• 다중 목표 분해 네트워크의 종단 간 훈련은 다단계 또는 보조 입력에 의존하는 접근 방식보다 열등한 성능를 낼 수 있었다.