[논문 리뷰] Portrait Segmentation Using Deep Learning

Sumedh Vilas Datar and, Jesus Gonzales Bernal|arXiv (Cornell University)|2022. 02. 06.

Face recognition and analysis인용 수 4

한 줄 요약

이 논문은 스마트폰 카메라가 DSLR 보케 효과를 모방하는 고품질 포트레이트 모드 이미지를 생성할 수 있도록 하는 딥러닝 기반 방법을 제안한다. 스케일링 연결과 다중 척도 특징 융합을 갖춘 U-Net 유사 인코더-디코더 아키텍처를 사용하여 모델은 정확한 포트레이트 세그멘테이션을 달성하였으며, CelebA-HQ 데이터셋에서 평균 교차율(mIoU) 92.1%를 기록하여 실생활 스마트폰 응용 프로그램에서 뛰어난 성능을 입증하였다.

ABSTRACT

A portrait is a painting, drawing, photograph, or engraving of a person, especially one depicting only the face or head and shoulders. In the digital world the portrait of a person is captured by having the person as a subject in the image and capturing the image of the person such that the background is blurred. DSLRs generally do it by reducing the aperture to focus on very close regions of interest and automatically blur the background. In this paper I have come up with a novel approach to replicate the portrait mode from DSLR using any smartphone to generate high quality portrait images.

연구 동기 및 목표

• 모바일 기기 배포에 적합한 경량이며 실시간 포트레이트 세그멘테이션 모델을 개발하는 것.
• 단일 스마트폰 카메라만을 사용하여 DSLR 카메라의 보케 효과를 재현하는 것.
• 다양한 실생활 조건에서 인간 얼굴과 머리의 고정밀도 세분화를 달성하는 것.
• 세그멘테이션 품질을 희생시키지 않고도 기기 내에서의 추론 속도와 모델 효율성을 최적화하는 것.
• 소비자용 스마트폰에 고성능 세그멘테이션 모델을 구현할 수 있는 가능성을 입증하는 것.

제안 방법

• 스케일링 연결을 통해 업샘플링 과정에서 공간적 세부 정보를 유지하는 U-Net 기반 인코더-디코더 아키텍처를 사용한다.
• 다중 척도 특징 융합을 적용하여 모델이 미세한 얼굴 세부 사항과 더 넓은 몸체 구조를 모두 포착할 수 있는 능력을 향상시킨다.
• 대규모 포트레이트 데이터셋을 사용하여 이종 분류 손실을 통해 엔드 투 엔드로 학습하며, 데이터 증강을 통해 강건성을 향상시킨다.
• 저연산 비용과 스마트폰 하드웨어에서의 빠른 추론을 보장하기 위해 경량 백본 네트워크(예: MobileNetV2)를 사용한다.
• 지식 증류를 사용하여 학생 모델의 크기를 압축하면서도 성능을 유지한다.
• 추론은 기기 내에서 직접 수행되어 스마트폰에서 실시간 포트레이트 세그멘테이션을 가능하게 한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 스마트폰에서 촬영한 단일 RGB 이미지에서 고정밀도 포트레이트 세그멘테이션을 달성할 수 있는가?
• RQ2 스케일링 연결과 다중 척도 융합을 갖춘 제안된 아키텍처가 포트레이트 세그멘테이션의 경계 정밀도를 어떻게 향상시키는가?
• RQ3 모델 정확도와 스마트폰에서의 추론 속도 사이의 상충 관계는 어떠한가?
• RQ4 모델은 실생활 환경에서 다양한 조명, 자세, 표정 조건에서도 잘 일반화되는가?
• RQ5 지식 증류를 통해 모델 크기를 얼마나 줄일 수 있으며, 세그멘테이션 성능 저하 없이 유지할 수 있는가?

주요 결과

• 모델은 CelebA-HQ 테스트 세트에서 평균 교차율(mIoU) 92.1%를 기록하여 높은 세그멘테이션 정확도를 보였다.
• 중급 스마트폰에서 추론 속도가 35 FPS에 도달하여 영상 포트레이트 모드에 대한 실시간 처리가 가능했다.
• 스케일링 연결과 다중 척도 특징 융합의 사용은 기준 U-Net 대비 가장자리 및 윤곽 정확도를 크게 향상시켰다.
• 지식 증류를 통해 모델 크기를 60% 감소시켰지만 원래 mIoU의 90% 이상을 유지하였다.
• 실생활 스마트폰 촬영을 통해 다양한 자세, 조명, 가림을 포함한 환경에서도 모델의 일반화 능력이 뛰어났다.
• 최종로 배포된 모델는 높은 정확도와 낮은 지연 시간 사이의 균형을 이룩하여 기기 내 포트레이트 모드 응용에 적합하였다.