[논문 리뷰] Real-time Hair Segmentation and Recoloring on Mobile GPUs

Andrei Tkachenka, Gregory Karpiak외 5명|arXiv (Cornell University)|2019. 07. 15.

Image Enhancement Techniques참고 문헌 4인용 수 8

한 줄 요약

이 논문은 실시간으로 동작하는 경량 신경망을 제안하며, 이는 모바일 GPU 기반의 머리카락 세분화와 현실적인 재색조를 구현한다. 이는 RGB + 이전 프레임 마스크의 4채널 입력을 사용하여 시간적 일관성을 확보한다. 이 방법은 스마트폰에서 81.0% IOU와 30–100+ FPS 성능을 달성하여 고해상도 AR 헤어 효과를 대규모 생산 응용 프로그램에 구현할 수 있도록 한다.

ABSTRACT

We present a novel approach for neural network-based hair segmentation from a single camera input specifically designed for real-time, mobile application. Our relatively small neural network produces a high-quality hair segmentation mask that is well suited for AR effects, e.g. virtual hair recoloring. The proposed model achieves real-time inference speed on mobile GPUs (30-100+ FPS, depending on the device) with high accuracy. We also propose a very realistic hair recoloring scheme. Our method has been deployed in major AR application and is used by millions of users.

연구 동기 및 목표

• 심도 센서나 초록색 스크린 없이도 AR 응용 프로그램에서 모바일 GPU에서 실시간으로 고품질의 머리카락 세분화를 가능하게 하기 위해.
• 가벼운 GPU 최적화 추론 파이프라인을 사용하여 영상 프레임 간 세분화 마스크의 시간적 일관성을 보장하기 위해.
• 다양한 머리카락 색상과 조명 조건에 적응할 수 있는 현실적인 자동 머리카락 재색조 기법을 개발하기 위해.
• 다양한 기기에서 30+ FPS로 작동하면서도 높은 정확도를 유지하는 모바일 친화적인 모델을 설계하기 위해.
• 소비자용 AR 응용 프로그램에서 가상의 머리카락 색소를 위한 확장 가능한, 생산 준비가 된 솔루션을 구현하기 위해.

제안 방법

• 시간적 일관성을 확보하기 위해 RGB 이미지와 이전 프레임의 세분화 마스크를 조합한 4채널 입력을 사용한다.
• 대규모 스트라이드 컨벌루션과 스킵 연결을 포함한 수정된 아워글라스 아키텍처는 속도와 정확도를 향상시키며, 기준 모델 대비 5% IOU 향상을 달성한다.
• E-Net 블록은 품질 손실이 크지 않은 범위에서 매우 강하게 압축(16~32배)되어 추론 속도가 향상된다.
• 전체 해상도에서 DenseNet 유사 레이어를 추가하여 윤곽선 세부 정보를 정밀하게 다듬어, 인지적 품질을 0.5% IOU 향상시킨다.
• 두 단계로 구성된 재색조 파이프라인은 어두운 머리카락과 밝은 머리카락을 위한 기준 LUT를 사용하며, 입력 이미지의 평균 머리카락 밝기 기반으로 보간하여 현실적인 색조를 구현한다.
• TFLite GPU를 통한 엔드 투 엔드 GPU 가속화를 구현하였으며, 강도 계산과 LUT 적용을 위한 커스텀 샐러를 사용한다.

실험 결과

연구 질문

• RQ1 경량 신경망이 모바일 GPU에서 실시간으로 높은 정확도의 머리카락 세분화를 달성할 수 있는가?
• RQ2 LSTM이나 심도 센서를 사용하지 않고도 영상 세분화에서 시간적 일관성을 유지할 수 있는가?
• RQ3 최소한의 지연과 높은 IOU 성능을 달성하기 위해 실시간 모바일 추론에 최적화된 아키텍처와 학습 전략은 무엇인가?
• RQ4 다양한 머리카락 색상과 조명 조건에서 자동으로 현실적인 머리카락 재색조를 달성할 수 있는가?
• RQ5 이전 세분화 마스크를 입력 컨텍스트로 사용할 경우, 화면 간 일관성 향상에 얼마나 효과적인가?

주요 결과

• 모델은 전체 크기(512×512) 입력에서 81.0% IOU를 달성하며, iPhone XS에서는 5.7ms, Pixel 3에서는 19ms의 추론 시간을 기록한다.
• 작은 모델 버전(256×256)은 단지 1.9ms의 추론 시간으로 iPhone XS에서 80.2% IOU를 달성하여 100+ FPS 성능을 구현한다.
• 스킵 연결의 추가로 기준 모델 대비 5% IOU 향상이 이루어졌다.
• 전체 해상도에서 DenseNet 스타일 레이어를 사용함으로써 0.5% IOU 향상이 있었음에도 불구하고, 인지적 품질 향상이 뚜렷했다.
• LUT 기반 재색조 방법은 다양한 머리카락 톤과 조명 조건에서도 일관되고 현실적인 색조 변화를 가능하게 했다.
• 시스템은 생산 환경의 AR 응용 프로그램에 배포되었으며 수백만 명의 사용자가 활용함으로써 확장성과 실제 환경에서의 견고함을 입증했다.