[논문 리뷰] Real Time System for Facial Analysis

Janne Tommola, Pedram Ghazi외 2명|arXiv (Cornell University)|2018. 09. 14.

Face recognition and analysis참고 문헌 4인용 수 7

한 줄 요약

이 논문은 실시간 영상 스트림으로부터 연령, 성별, 표정을 인식하기 위해 컨volutional 신경망(CNN)을 사용하는 실시간 얼굴 분석 시스템을 제시한다. 프레임 캡처, 얼굴 검출, 인식 모듈을 포함한 멀티스레드 파이프라인을 구현하여 Keras/TensorFlow, OpenCV, dlib를 사용해 낮은 지연 시간 성능를 달성했으며, 재현성과 배포를 위해 소스 코드를 공개했다.

ABSTRACT

In this paper we describe the anatomy of a real-time facial analysis system. The system recognizes the age, gender and facial expression from users in appearing in front of the camera. All components are based on convolutional neural networks, whose accuracy we study on commonly used training and evaluation sets. A key contribution of the work is the description of the interplay between processing threads for frame grabbing, face detection and the three types of recognition. The python code for executing the system uses common libraries--keras/tensorflow, opencv and dlib--and is available for download.

연구 동기 및 목표

• 실시간 영상 입력으로부터 연령, 성별, 표정과 같은 얼굴 속성을 분석할 수 있는 시스템을 설계하는 것.
• 프레임 캡처, 얼굴 검출, 인식 작업을 위한 효율적인 스레드 관리를 통해 시스템 성능을 최적화하는 것.
• 표준 기준 데이터셋에서 훈련된 최신 기술의 CNN 아키텍처를 사용해 얼굴 속성 인식의 높은 정확도를 확보하는 것.
• Keras, TensorFlow, OpenCV, dlib와 같은 널리 사용되는 라이브러리를 활용해 재현 가능하고 배포 가능한 솔루션을 제공하는 것.
• 연구 및 실세계 응용 분야에서의 실질적 배포를 위해 전체 시스템 코드를 공개하는 것.

제안 방법

• 시스템은 영상 프레임 캡처, 얼굴 검출, 세 가지 인식 작업(연령, 성별, 표정)을 위한 별도의 스레드를 가진 멀티스레드 아키텍처를 사용한다.
• 얼굴 검출은 dlib 라이브러리를 통해 통합된 사전 훈련된 딥 러닝 모델을 사용해 수행된다.
• 각 얼굴 속성 인식 작업(연령, 성별, 표정)은 표준 데이터셋에서 훈련된 전용 컨volutional 신경망(CNN)에 의해 처리된다.
• 모델 추론에는 Keras와 TensorFlow를 활용하고, 영상 스트림 처리 및 이미지 전처리에는 OpenCV를 사용한다.
• 추론 결과는 스레드 간 동기화되어 최소한의 지연 시간으로 실시간 성능를 확보한다.
• 전체 파이프라인이 파이썬으로 구현되어 있어 연구 및 생산 환경에서의 간편한 통합 및 확장이 가능하다.

실험 결과

연구 질문

• RQ1 다중 동시 작업(얼굴 검출 및 세 가지 속성 인식)을 효율적으로 처리할 수 있는 실시간 얼굴 분석 시스템의 아키텍처는 어떻게 설계할 수 있는가?
• RQ2 프레임 캡처, 검출, 인식 단계를 별도로 처리하는 멀티스레드 파이프라인을 사용할 경우 성능에 어떤 영향을 미치는가?
• RQ3 표준 기준 데이터셋에서 평가했을 때, 연령, 성별, 표정 인식에 대해 각각의 CNN 모델은 얼마나 정확한가?
• RQ4 일반적인 오픈소스 라이브러리로 구축된 시스템이 일반 하드웨어에서 실시간 추론을 달성할 수 있는가?
• RQ5 낮은 지연 시간 처리를 유지하면서도 높은 인식 정확도를 확보할 수 있는 아키텍처 패턴은 무엇인가?

주요 결과

• 낮은 지연 시간 처리를 통해 실시간 성능를 달성하여 실시간 환경에서 영상 스트림의 지속적인 분석이 가능하다.
• 각 속성(연령, 성별, 표정)에 대해 전용 CNN을 사용함으로써 높은 정확도를 확보했으며, 표준 훈련 및 평가 데이터셋에서 성능가 검증되었다.
• 멀티스레드 설계는 입출력, 검출, 인식 작업을 효과적으로 분리하여 버티바일을 최소화하고 처리량을 향상시켰다.
• Keras, TensorFlow, OpenCV, dlib의 통합은 경량적이고 모듈화된, 재현 가능한 시스템 아키텍처를 가능하게 했다.
• 전체 소스 코드가 공개되어 있어 연구 및 개발 커뮤니티에서의 재사용, 벤치마킹, 확장이 용이하다.
• 다양한 조명 조건과 자세에서 안정적인 추론 성능을 보이며 실제 영상 데이터에서도 뛰어난 성능을 나타냈다.