[논문 리뷰] Learning Perspective Undistortion of Portraits

Yajie Zhao, Zeng Huang외 7명|arXiv (Cornell University)|2019. 05. 18.

Face recognition and analysis참고 문헌 71인용 수 6

한 줄 요약

이 논문은 3D 얼굴 모델 피팅에 의존하지 않고 근접한 포트레이트에서 극단적인 투시법 왜곡을 보정하는 딥러닝 기반 방법을 제안한다. 유동성 예측, 특징 보정, 카메라 거리 추정을 포함한 계층적 네트워크를 사용하여 부족한 얼굴 특징을 복원하고, 이는 이전 작업에 비해 얼굴 인식, 랜드마크 검출, 3D 재구성 정확도를 크게 향상시킨다.

ABSTRACT

Near-range portrait photographs often contain perspective distortion artifacts that bias human perception and challenge both facial recognition and reconstruction techniques. We present the first deep learning based approach to remove such artifacts from unconstrained portraits. In contrast to the previous state-of-the-art approach, our method handles even portraits with extreme perspective distortion, as we avoid the inaccurate and error-prone step of first fitting a 3D face model. Instead, we predict a distortion correction flow map that encodes a per-pixel displacement that removes distortion artifacts when applied to the input image. Our method also automatically infers missing facial features, i.e. occluded ears caused by strong perspective distortion, with coherent details. We demonstrate that our approach significantly outperforms the previous state-of-the-art both qualitatively and quantitatively, particularly for portraits with extreme perspective distortion or facial expressions. We further show that our technique benefits a number of fundamental tasks, significantly improving the accuracy of both face recognition and 3D reconstruction and enables a novel camera calibration technique from a single portrait. Moreover, we also build the first perspective portrait database with a large diversity in identities, expression and poses, which will benefit the related research in this area.

연구 동기 및 목표

• 자연스럽지 않은 근접 포트레이트에서 투시법 왜곡 문제를 다루며, 이는 인간의 인식을 왜곡하고 컴퓨터 비전 작업의 성능을 떨어뜨린다.
• 특히 극단적인 왜곡이나 표정 변화 상황에서 정확도가 떨어지는 기존 방법의 한계를 극복한다.
• 왜곡 보정과 함께 가려진 얼굴 특징(예: 귀)을 복원하는 강력한 종단 간 딥러닝 프레임워크를 개발한다.
• 학습 및 평가를 위한 대규모이고 다양한 포트레이트 이미지 쌍(왜곡 및 보정된 이미지)을 포함한 첫 번째 대규모 데이터셋을 구축한다.
• 얼굴 인식 및 3D 얼굴 재구성과 같은 후속 작업의 정확도를 향상시키기 위해 보정을 사전 처리 단계로 활용할 수 있음을 입증한다.

제안 방법

• 입력된 포트레이트의 카메라-얼굴 거리를 추정하기 위해 카메라 거리 예측 네트워크를 훈련시켜 왜곡 보정 유동성 네트워크에 정보를 제공한다.
• 각 픽셀의 이동 지도를 생성하기 위해 유동성 예측 네트워크를 사용하여 왜곡된 입력을 표준 1.6m 거리로 왜곡 보정한다. 이 과정에서 고주파 수치를 유지한다.
• 생성 모델링을 활용하여 일관되고 현실적인 세부 정보를 합성함으로써, 가려진 얼굴 특징(예: 가려진 귀)을 보완하기 위해 완성 네트워크를 활용한다.
• 유동성 네트워크에서 유도된 왜곡 해제된 출력과 보완 네트워크에서 유도된 완성된 얼굴을 융합하기 위해 텍스처 블렌딩 단계를 적용하여 최종 보정된 이미지 합성을 수행한다.
• 다양한 신체적 특징, 자세, 표정, 조명 조건을 가진 3D 머리 모델에서 렲한 포트레이트 쌍의 합성 데이터셋을 활용해 지도 학습을 수행한다.
• 동일한 자세, 표정, 조명 조건을 가진 실제 포트레이트 쌍을 촬영하기 위해 이중 카메라 빔 스플리터 랙을 설계하여 실제 이미지에 대한 정확한 평가를 가능하게 한다.

실험 결과

연구 질문

• RQ1 3D 얼굴 모델 피팅에 의존하지 않고 딥러닝 기반 접근법이 자연스럽지 않은 포트레이트에서 극단적인 투시법 왜곡을 효과적으로 보정할 수 있는가?
• RQ2 유동성 기반 보정 방법이 투시 효과로 인해 가려진 얼굴 특징(예: 귀)을 어느 정도 복원할 수 있는가?
• RQ3 투시법 보정을 사전 처리 단계로 활용할 경우, 얼굴 인식 및 3D 얼굴 재구성과 같은 후속 작업의 정확도는 어떻게 향상되는가?
• RQ4 단일 이미지 기반의 카메라 거리 예측이 다양한 포트레이트 조건에서 투시법 보정의 일반화 능력과 정확도를 향상시킬 수 있는가?
• RQ5 제안된 방법이 합성, 제약 조건이 있는, 그리고 자연스럽지 않은 실제 포트레이트 데이터셋에서 기존 최고 성능 기준 [25]과 정량적·정성적으로 비교해 볼 때 어떻게 성능을 내는가?

주요 결과

• 제안된 방법은 사전 처리된 데이터에서 94.73%의 얼굴 확인 정확도를 달성하였으며, 원본 왜곡 입력에서의 91.37%보다 뚜렷한 향상이 있었고, 표준편차는 0.0067였다.
• OpenPose를 사용한 랜드마크 검출은 보정된 이미지에서 100% 성공률를 기록했으며, 원본 왜곡 포트레이트에서는 91%였고, 평균 정규화 평균 오차(NME)는 각각 4.4%와 4.9%였다.
• 보정된 출력을 입력으로 사용할 경우 3D 얼굴 재구성 정확도가 크게 향상되었으며, 원본 왜곡 이미지에서의 기준 재구성 대비 기하 오차가 감소하였다.
• 극단적인 투시법 왜곡이나 강한 표정 변화 상황에서도 귀와 얼굴 가장자리와 같은 가려진 얼굴 특징을 효과적으로 복원하였다.
• 합성, 제약 조건이 있는, 자연스럽지 않은 실제 포트레이트 데이터셋에서 정량적·정성적 평가 모두에서 기존 최고 성능 기준 [25]을 능가하였다.
• 단일 포트레이트에서 카메라 매개변수를 예측함으로써 단일 이미지 기반 카메라 캘리브레이션 기법을 새롭게 구현하였으며, 보정을 넘어서 더 넓은 응용 가능성을 입증하였다.