[논문 리뷰] Fast Deep Matting for Portrait Animation on Mobile Phone

Bingke Zhu, Yingying Chen외 4명|arXiv (Cornell University)|2017. 07. 26.

Image Enhancement Techniques참고 문헌 26인용 수 6

한 줄 요약

이 논문은 경량의 완전 컨volution 네트워크를 사용하여 실시간으로 자동으로 모바일 포트레이트 애니메이션을 위한 딥 매트팅을 제안한다. 이 네트워크는 조밀한 연결과 확장된 컨volution를 포함하며, 거친 이진 마스크를 생성한 후, 가장자리 보존형, 매트팅 적응형 가이드 필터를 적용하는 학습 가능한 페더링 블록을 통해 고품질 알파 매트를 생성한다. 시스템은 스마트폰에서 15 fps 성능을 달성하며, 최신 기술 수준의 성능을 갖추고 있어 사용자 상호작용 없이 실시간 포트레이트 애니메이션을 가능하게 한다.

ABSTRACT

Image matting plays an important role in image and video editing. However, the formulation of image matting is inherently ill-posed. Traditional methods usually employ interaction to deal with the image matting problem with trimaps and strokes, and cannot run on the mobile phone in real-time. In this paper, we propose a real-time automatic deep matting approach for mobile devices. By leveraging the densely connected blocks and the dilated convolution, a light full convolutional network is designed to predict a coarse binary mask for portrait images. And a feathering block, which is edge-preserving and matting adaptive, is further developed to learn the guided filter and transform the binary mask into alpha matte. Finally, an automatic portrait animation system based on fast deep matting is built on mobile devices, which does not need any interaction and can realize real-time matting with 15 fps. The experiments show that the proposed approach achieves comparable results with the state-of-the-art matting solvers.

연구 동기 및 목표

• 사용자 상호작용 없이 스마트폰에서 실시간 이미지 및 영상 매트팅을 가능하게 하기 위해.
• 트림랩 또는 스트로크가 필요한 상호작용형 매트팅 방법의 한계를 극복하고, 스마트폰 배포에 적합한 빠른 성능을 확보하기 위해.
• 고속과 정확도를 확보하면서 스마트폰 추론에 적합한 경량의 종단 간 딥 러닝 프레임워크를 개발하기 위해.
• 기존 방법이 어려운 복잡한 영역(예: 털, 목 등)의 정밀 매트팅을 달성하기 위해.
• 스마트폰 하드웨어에서 실시간으로 작동하는 완전 자동 포트레이트 애니메이션 시스템을 구축하기 위해.

제안 방법

• 포트레이트 이미지에서 거친 이진 마스크를 예측하기 위해, 조밀한 연결 블록과 확장된 컨볼루션을 포함한 경량의 완전 컨볼루션 네트워크를 사용한다.
• 계산 부담을 줄이기 위해 다운샘플링을 적용하며, 네트워크는 종단 간으로 훈련되어 배경과 전경을 분할한다.
• 새로운 페더링 블록을 도입하여, 매트팅에 적응하는 가중치를 학습한 가이드 필터를 적용해 이진 마스크를 부드럽고 가장자리 보존형 알파 매트로 정밀하게 개선한다.
• 페더링 블록은 훈련 중에 학습된 필터 가중치를 사용해 거친 마스크에 선형 변환을 적용함으로써 빠른 추론을 가능하게 한다.
• GPU 및 CPU 추론을 통해 전체 프레임워크를 스마트폰 배포에 최적화하였으며, 안드로이드에서 렌더 스크립트 최적화를 통해 추가적인 성능 향상을 달성했다.
• 시스템은 스마트폰용 실시간 포트레이트 애니메이션 애플리케이션에 통합되어 15 fps로 이미지를 처리한다.

실험 결과

연구 질문

• RQ1 완전 자동 딥 러닝 방법이 사용자 상호작용 없이 스마트폰에서 실시간 매트팅을 달성할 수 있는가?
• RQ2 조밀한 연결과 확장된 컨볼루션을 가진 경량 네트워크가 포트레이트 이미지에 대해 정확한 거친 분할을 생성할 수 있는가?
• RQ3 학습 가능한 가장자리 보존형 가이드 필터가 이진 마스크를 고품질 알파 매트로 효과적으로 개선할 수 있는가?
• RQ4 기존 최신 기술 수준의 매트팅 솔버와 비교해, 스마트폰 하드웨어에서 이 방법의 속도와 정확도는 어떻게 되는가?
• RQ5 기존 자동 매트팅 기법보다 복잡한 영역(예: 털, 목 등)을 더 정밀하게 처리할 수 있는가?

주요 결과

• 제안된 방법은 스마트폰에서 15 fps 성능을 달성하여 사용자 상호작용 없이 실시간 포트레이트 애니메이션을 가능하게 한다.
• 퀄컴 스냅드래곤 820를 사용할 때 GPU에서는 62ms, CPU에서는 140ms로 실행되어 강력한 스마트폰 효율성을 보여준다.
• Shen 등(2016b)의 베이스라인 자동 매트팅 방법과 비교해 GPU에서는 587ms, CPU에서는 5962ms의 추론 시간 단축을 달성한다.
• 최신 기술 수준의 베이스라인과 비교해 기울기 오차 증가가 오직 4.37×10⁻³에 불과하여 유사한 매트팅 품질을 확보함을 의미한다.
• 유사한 배경 색상이나 칼라, 어깨와 같은 세부 사항을 처리하는 데 있어 실시간 앱 Fabby보다 뛰어난 성능을 보였다.
• 페더링 블록은 매트팅에 적응하는 행동을 보이며, 일반적으로 다른 방법에서 드물게 관찰되는 머리와 목 영역의 정밀한 분리가 가능하다.