[논문 리뷰] 3D Face Reconstruction with Region Based Best Fit Blending Using Mobile Phone for Virtual Reality Based Social Media

Gholamreza Anbarjafari, Rain Eric Haamer외 3명|arXiv (Cornell University)|2017. 12. 12.

Face recognition and analysis참고 문헌 42인용 수 9

한 줄 요약

이 논문은 데이터베이스에서 사전 스캔된 3D 얼굴 모델을 영역 기반 혼합하여 실시간 3D 얼굴 재구성에 적합한 경량이고 모바일 친화적인 방법을 제안한다. 68개의 얼굴 특징점 검출을 통해 눈, 코, 입, 나머지 얼굴 등 주요 얼굴 영역을 식별하고, 유사도 기준으로 데이터베이스 내 가장 유사한 모델에 매칭한 후, 조각별 애핀 변환 텍스처 매핑을 적용함으로써 표준 하드웨어에서 1분 이내로 정확하고 질감이 부여된 3D 얼굴을 생성한다. 이는 기존의 일반화된 외관을 띠는 모델 확장 기법의 한계를 극복한다.

ABSTRACT

The use of virtual reality (VR) is exponentially increasing and due to that many researchers has started to work on developing new VR based social media. For this purpose it is important to have an avatar of the users which look like them to be easily generated by the devices which are accessible, such as mobile phone. In this paper, we propose a novel method of recreating a 3D human face model captured with a phone camera image or video data. The method focuses more on model shape than texture in order to make the face recognizable. We detect 68 facial feature points and use them to separate a face into four regions. For each area the best fitting models are found and are further morphed combined to find the best fitting models for each area. These are then combined and further morphed in order to restore the original facial proportions. We also present a method of texturing the resulting model, where the aforementioned feature points are used to generate a texture for the resulting model

연구 동기 및 목표

• 가상 현실 및 소셜 미디어에서 사용하기 위한 모바일 RGB 영상에서 현실적이고 계산 효율성이 높은 3D 얼굴 모델을 생성하는 데 도전한다.
• 기존의 모델 확장 또는 형태 변형 모델 접근 방식에서 유도되는 일반적인 외관을 갖는 모델의 한계를 극복한다.
• 사전 구축된 3D 스캔 얼굴 데이터베이스를 활용하여 빠르고 영역별로 특화된 모델 선택 및 혼합을 가능하게 하는 방법을 개발한다.
• 소비자용 모바일 기기에서 배포 가능한 실시간, 저전력 3D 얼굴 재구성 기능을 제공한다.

제안 방법

• 일致한 정점 매핑과 UV 좌표를 갖는 217개의 사전 처리된 3D 머리 스캔 데이터를 포함하는 데이터베이스를 사용하여 영역 기반 모델 매칭을 수행한다.
• 입력 영상에서 68개의 특징점 검출을 통해 눈, 코, 입, 얼굴 나머지 부분 등의 얼굴 영역을 추출하고, 유사도 측정 기준을 활용해 데이터베이스 내 렌더링된 해당 영역과 매칭한다.
• 각 얼굴 영역에 대해 데이터베이스 모델과의 유사도에 따라 가중치를 할당하고, 각 영역에 대해 유사도가 높은 상위 모델들을 혼합하여 최종 3D 모델을 구성한다.
• 검출된 68개의 특징점을 기준으로 정점 위치를 변형하여 얼굴 비율을 유지하면서 모델를 정밀하게 보정한다.
• UV 매핑에 맞게 입력 프레임을 조각별 애핀 변환하여 텍스처를 생성하고, 평균 텍스처를 약간 이동시켜 가장자리 혼합을 수행함으로써 자연스러운 외관을 확보한다.
• 전체 파이프라인은 표준 CPU에서 효율적으로 작동하며, 최신 하드웨어에서 1분 이내로 모델 생성을 완료한다.

실험 결과

연구 질문

• RQ1 깊이 센서나 고복잡도 최적화에 의존하지 않고도, 경량이고 모바일 호환 가능한 3D 얼굴 재구성 방법이 현실적인 얼굴 특징을 구현할 수 있는가?
• RQ2 사전 스캔된 3D 모델의 영역 기반 혼합 기법이 기존의 모델 확장 기법에 비해 얼굴 정체성과 세부 사항을 얼마나 잘 유지하는가?
• RQ3 재구성 품질이 특히 머리 형태와 얼굴 구조에 대한 3D 스캔 데이터베이스의 다양성과 대표성에 얼마나 의존하는가?
• RQ4 변동하는 조도와 자세를 가진 실제 모바일 영상에 적용했을 때, 조각별 애핀 변환 텍스처 매핑이 자연스러운 결과를 도출할 수 있는가?

주요 결과

• 모델이 데이터베이스에 존재하는 경우, 심지어 다른 표정을 가진 상황에서도 스캔된 결과와 거의 동일한 3D 얼굴 모델을 성공적으로 재구성하였다.
• 데이터베이스에 없는 대상의 경우, 입력 영상과 매우 유사한 얼굴 특징을 선택했지만, 거리가 먼 특징을 혼합함으로써 때로는 정확도가 떨어지는 현상이 관찰되었다.
• 표준 i7 CPU에서 MATLAB 2015a를 사용할 경우 모델 생성 과정에 약 3분이 소요되었고, 더 빠른 i7에서 MATLAB 2016b를 사용할 경우 1분 이내로 단축되었다.
• 모델 확장 기법에서 흔히 나타나는 일반적인 외관 문제를 영역별 특화 모델 혼합을 통해 크게 감소시켰다.
• 조각별 애핀 변환과 평균 텍스처를 이용한 가장자리 혼합을 통해 자연스러운 외관을 갖는 텍스처 생성 과정을 성공적으로 수행하였다.
• 턱과 같은 큰 얼굴 구조의 검출이 불안정하여 머리 형태 재구성에 한계가 있었고, 이는 데이터베이스의 머리 형태 커버리지에 의해 방법의 성능이 제한되었다.