[논문 리뷰] Deep Head Pose Estimation from Depth Data for In-car Automotive Applications

Marco Venturelli, Guido Borghi외 2명|arXiv (Cornell University)|2017. 03. 06.

Face recognition and analysis인용 수 4

한 줄 요약

이 논문은 단일 센서에서 얻은 원시 깊이 데이터만을 사용하여 실시간으로 종단 간(end-to-end) 딥러닝 방법을 제안한다. 이는 얼굴 랜드마크나 RGB 데이터를 필요로 하지 않으며, 경량 컨볼루션 신경망(CNN)을 활용해 피치, 롤, 요 각도를 직접 회귀하여 Biwi Kinect Head Pose 데이터셋에서 최신 기술 수준의 정확도(피치 2.8° ± 3.1°, 롤 2.3° ± 2.9°, 요 3.6° ± 4.1°)를 달성한다. 프레임당 추론 시간은 10ms 이하이다.

ABSTRACT

Recently, deep learning approaches have achieved promising results in various fields of computer vision. In this paper, we tackle the problem of head pose estimation through a Convolutional Neural Network (CNN). Differently from other proposals in the literature, the described system is able to work directly and based only on raw depth data. Moreover, the head pose estimation is solved as a regression problem and does not rely on visual facial features like facial landmarks. We tested our system on a well known public dataset, Biwi Kinect Head Pose, showing that our approach achieves state-of-art results and is able to meet real time performance requirements.

연구 동기 및 목표

• 단일 센서의 깊이 데이터만을 사용하여 자동차 내 환경에서 실시간으로 정확한 헤드 포즈 추정 문제를 해결한다.
• 기존 방법이 RGB 데이터나 얼굴 랜드마크에 의존하거나 수동 초기화가 필요로 하는 한계를 극복한다.
• 속도를 희생시키지 않고도 헤드 포즈 각도의 회귀 문제를 효율적으로 해결하는 딥러닝 프레임워크를 개발한다.
• 자동차 환경에서 흔히 발생하는 다양한 조명 조건과 가림 현상에 대해도 견고한 성능을 발휘할 수 있도록 한다.

제안 방법

• 원시 깊이 이미지에 대해 종단 간으로 훈련된 경량 컨volution 신경망(CNN) 아키텍처를 사용하여 헤드 포즈 각도를 직접 회귀한다.
• 헤드 포즈 추정을 회귀 문제로 간주하여, 중간 단계의 랜드마크 검출 없이 깊이 입력에서 세 개의 유클리드 각도(피치, 롤, 요)로의 매핑을 학습한다.
• 정답 헤드 중심을 기반으로 동적 코팅 전략을 적용하여 네트워크가 얼굴 영역에 집중하도록 하여 국소화 정확도를 향상시킨다.
• 예측된 값과 정답 포즈 값 간의 각도 오차를 최소화하기 위해 회귀 손실 함수를 사용하여 네트워크를 훈련시킨다.
• 얕은 네트워크 설계를 통해 실시간 성능를 최적화하여 GPU에서 프레임당 10ms 이내의 추론 시간을 달성한다.
• 깊이 전용 헤드 포즈 추정에 대한 표준 평가 프로토콜을 사용하여 Biwi Kinect Head Pose 데이터셋에서 방법을 검증한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 RGB나 얼굴 랜드마크에 의존하지 않고도 원시 깊이 데이터만으로 높은 정확도의 헤드 포즈 추정을 달성할 수 있는가?
• RQ2 딥러닝 기반의 회귀 접근 방식은 깊이 데이터에서 기존의 전통적 방법에 비해 정확도와 실시간 성능 측면에서 어떻게 비교되는가?
• RQ3 경량 CNN이 자동차 응용 분야에서 엄격한 실시간 제약 조건을 충족시키면서도 높은 정확도를 유지할 수 있는 정도는 어느 정도인가?
• RQ4 이러한 제안된 방법은 자동차 내 깊이 데이터에서 흔히 발생하는 시각적 잡음과 부분적 가림 현상에 대해 얼마나 견고한가?

주요 결과

• 제안된 방법은 Biwi Kinect Head Pose 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 평균 각도 오차는 피치 2.8° ± 3.1°, 롤 2.3° ± 2.9°, 요 3.6° ± 4.1°이다.
• 모델은 GPU에서 프레임당 10ms 미만으로 깊이 이미지를 처리하여 차량 내 모니터링 시스템의 실시간 요구 조건을 충족시킨다.
• RGB와 깊이 데이터를 모두 사용하는 다른 최신 기술 수준의 접근 방식보다도 성능이 뛰어나, 깊이 전용 학습의 효과를 입증한다.
• 저품질의 깊이 입력에도 잘 일반화되어, 자동차 환경에서 흔히 발생하는 노이즈, 구멍, 부분적 가림 현상에 대해 견고함을 보였다.
• 얼굴 랜드마크 검출 단계가 없어 파이프라인 간소화와 실패 요소 감소로 인해 동적인 운전 환경에서 신뢰성이 향상된다.
• 향후 작업으로 시간적 모델링 및 RGB 또는 적외선 데이터 융합을 포함할 수 있도록 확장 가능하다.