[논문 리뷰] Real-Time Face Recognition System

Adarsh Ghimire, Naoufel Werghi외 2명|arXiv (Cornell University)|2022. 04. 19.

Face and Expression Recognition인용 수 8

한 줄 요약

이 논문은 YOLOv5n0.5를 사용해 빠르고 정확한 얼굴 검출을 수행하고, MobileFaceNet을 사용해 효율적인 얼굴 인식을 수행하는 실시간 얼굴 인식 시스템을 제안한다. TensorRT 최적화 후 Jetson TX2에서 152 FPS를 달성했으며, 얼굴 수에 관계없이 항상 75 FPS를 유지하여 로봇 플랫폼에 대한 강력한 실시간 배포를 가능하게 한다.

ABSTRACT

Over the past few decades, interest in algorithms for face recognition has been growing rapidly and has even surpassed human-level performance. Despite their accomplishments, their practical integration with a real-time performance-hungry system is not feasible due to high computational costs. So in this paper, we explore the recent, fast, and accurate face recognition system that can be easily integrated with real-time devices, and tested the algorithms on robot hardware platforms to confirm their robustness and speed.

연구 동기 및 목표

• 실시간 얼굴 인식 시스템에서 발생하는 계산 병목 현상을 해결하기 위해 검출 및 인식 컴포넌트를 모두 최적화한다.
• 자원 제약이 있는 로봇 플랫폼에 최신 기술 기반의 얼굴 인식 기능을 실시간 성능으로 통합할 수 있도록 한다.
• 임베디드 시스템에서 전통적인 얼굴 검출기와 무거운 인식 모델의 높은 지연 시간 문제를 해결한다.
• 에지 디바이스(예: Jetson TX2)에 배포하기 위해 정확도와 속도를 동시에 확보한다.
• 임베디드 하드웨어에서 다양한 조명 조건, 얼굴 크기, 다중 얼굴 상황에서도 시스템의 강건성을 입증한다.

제안 방법

• 임베디드 시스템에서 PyTorch와의 호환성, 속도, 정확도의 균형을 고려해 YOLOv5n0.5를 얼굴 검출기로 선택했다.
• YOLOv5n0.5 모델을 TensorRT를 사용해 최적화하여 Jetson TX2에서 추론 속도를 크게 향상시켰다.
• 저 FLOPS, 소형 모델 크기(4 MB), 높은 정확도(정면 얼굴 데이터셋에서 99.55%)를 고려해 얼굴 인식에 MobileFaceNet을 선택했다.
• Jetson TX2에서 추론 속도를 안정화시키기 위해 MobileFaceNet 가중치에 양자화를 적용했으며, 얼굴 수가 증가하더라도 항상 75 FPS를 유지했다.
• CPU, Colab GPU, Jetson TX2 등 다양한 플랫폼에서 성능을 평가하여 교차 플랫폼 호환성을 확보했다.
• 최적화된 검출 및 인식 모델을 통합해 로봇 하드웨어에서 실시간 얼굴 인식을 위한 전체 파이프라인을 구현했다.

실험 결과

연구 질문

• RQ1 YOLOv5n0.5와 같은 경량, 빠르고 정확한 얼굴 검출 모델을 Jetson TX2와 같은 에지 디바이스에 효과적으로 구현할 수 있는가?
• RQ2 TensorRT를 통한 모델 최적화가 임베디드 플랫폼에서 딥러닝 기반 얼굴 검출기의 추론 속도에 어떤 영향을 미치는가?
• RQ3 얼굴 수에 관계없이 일관된 실시간 성능을 유지할 수 있는 얼굴 인식 모델은 가능한가?
• RQ4 실시간 시스템에 적합한 얼굴 인식 컴포넌트를 선택할 때 정확도, FLOPS, 추론 속도 간의 상호 상충 관계는 어떠한가?
• RQ5 저전력 로봇 플랫폼에서 인간 수준의 얼굴 인식 성능을 실시간으로 달성하는 것은 가능한가?

주요 결과

• YOLOv5n0.5는 TensorRT로 변환한 후 Jetson TX2에서 152 FPS를 달성했으며, 원본 PyTorch 구현 대비 10배 향상된 성능을 보였다.
• 최적화된 YOLOv5n0.5 모델은 WiderFace의 easy 셋에서 90.8%, hard 셋에서 73.8%의 정확도를 유지했다.
• MobileFaceNet은 프레임 내 얼굴 수에 관계없이 Jetson TX2에서 항상 75 FPS를 기록해 안정적인 실시간 성능을 입증했다.
• MobileFaceNet 가중치에 양자화를 적용함으로써 CPU에서는 성능이 유지되었고, Jetson TX2에서는 추론 속도가 크게 향상되고 안정화되었다.
• 최적화된 시스템은 단일 Jetson TX2 보드에서 검출 152 FPS, 인식 75 FPS의 실시간 성능을 달성했다.
• 저조도 및 작은 얼굴 크기와 같은 도전적인 조건에서도 기존의 Dlib 및 Haar Cascade와 비교해 뛰어난 성능을 보였다.