[논문 리뷰] Driver Hand Localization and Grasp Analysis: A Vision-based Real-time Approach

Siddharth, Akshay Rangesh외 2명|arXiv (Cornell University)|2018. 02. 22.

Hand Gesture Recognition Systems인용 수 13

한 줄 요약

이 논문은 실시간 비전 기반 시스템을 제안하며, 두 단계의 파이프라인을 사용하여 운전사의 손 위치 추적과 抓握 분석을 수행한다. 첫 번째 단계로 빠른 컨볼루션 네트워크(ConvNet)가 후보 손 영역을 탐지하고, 두 번째 단계로 전반적인 조명 조건을 고려한 피부 분류기로 정밀한 픽셀 수준의 손 마스크로 탐지 결과를 개선한다. 이 방법은 추론 속도가 35 fps에 도달하며, 다양한 조명 변화와 가림 현상이 있는 자연스러운 운전 환경에서 상태 기반 수준의 손잡이 상태(핸들, 스마트폰, 또는 무작위 잡기 없음)를 정확하게 분류하면서도 최신 수준의 손 탐지기보다 뛰어난 성능을 보인다.

ABSTRACT

Extracting hand regions and their grasp information from images robustly in real-time is critical for occupants' safety and in-vehicular infotainment applications. It must however, be noted that naturalistic driving scenes suffer from rapidly changing illumination and occlusion. This is aggravated by the fact that hands are highly deformable objects, and change in appearance frequently. This work addresses the task of accurately localizing driver hands and classifying the grasp state of each hand. We use a fast ConvNet to first detect likely hand regions. Next, a pixel-based skin classifier that takes into account the global illumination changes is used to refine the hand detections and remove false positives. This step generates a pixel-level mask for each hand. Finally, we study each such masked regions and detect if the driver is grasping the wheel, or in some cases a mobile phone. Through evaluation we demonstrate that our method can outperform state-of-the-art pixel based hand detectors, while running faster (at 35 fps) than other deep ConvNet based frameworks even for grasp analysis. Hand mask cues are shown to be crucial when analyzing a set of driver hand gestures (wheel/mobile phone grasp and no-grasp) in naturalistic driving settings. The proposed detection and localization pipeline hence can act as a general framework for real-time hand detection and gesture classification.

연구 동기 및 목표

• 변동하는 조명 조건과 가림 현상이 있는 환경에서 실시간으로 운전사 손을 견고하게 탐지하는 도전 과제를 해결한다.
• 손이 기형을 띠고 있으며 외관이 자주 변화하는 자연스러운 운전 환경에서 전통적인 손 탐지기의 한계를 극복한다.
• 손의 위치를 정확히 탐지할 뿐 아니라, 안전 및 인포테인먼트 응용 분야를 위해 손잡이 상태(예: 핸들, 스마트폰)를 분류하는 프레임워크를 개발한다.
• 딥 러닝 기반 손 제안과 조명에 강인한 피부 분류를 통합하여 탐지 정확도를 향상시킨다.
• 차량 내 인간-컴퓨터 상호작용에 적용 가능한 일반적인 실시간 손 탐지 및 제스처 분류 파이프라인을 구축한다.

제안 방법

• 실시간 영상 프레임에서 손이 포함될 가능성이 높은 초기 후보 영역을 생성하기 위해 경량 컨볼루션 네트워크를 사용한다.
• 전반적인 조명 변화를 고려한 픽셀 수준의 피부 분류기를 적용하여 손 탐지 결과를 정밀하게 다듬고, 잘못된 탐지(false positives)를 줄인다.
• 딥 러닝 특징과 조명에 강인한 피부 분할 기법을 조합하여 정밀한 픽셀 수준의 손 마스크를 생성한다.
• 각 분할된 손 마스크를 분석하여 손잡이 상태를 분류하며, 핸들을 잡거나 스마트폰을 잡는 경우를 포함한다.
• 탐지 및 분류 파이프라인을 하나의 종단 간(end-to-end) 프레임워크로 통합하여 실시간 성능 최적화를 이룬다.
• 복잡한 운전 상황에서 다양한 운전사 제스처를 구분하는 데 핵심적인 기능으로 손 마스크 신호를 활용한다.

실험 결과

연구 질문

• RQ1 조명 변화와 가림 현상이 있는 자연스러운 운전 환경에서 비전 기반 시스템이 실시간 손 위치 추적을 달성할 수 있는가?
• RQ2 조명에 민감하지 않은 피부 분류기가 다양한 조명 조건에서 손 탐지 정확도 향상에 얼마나 효과적인가?
• RQ3 박스 기반 탐지 방식에 비해 손 마스크 표현 방식이 손잡이 상태 분류 정확도 향상에 얼마나 기여하는가?
• RQ4 두 단계의 딥 러닝 파이프라인은 높은 추론 속도를 유지하면서도 최신 수준의 손 탐지기보다 뛰어난 성능을 낼 수 있는가?
• RQ5 실제 운전 환경에서 다양한 손잡이 상태(예: 핸들 잡기, 스마트폰 잡기, 무작위 잡기 없음)에 대해 시스템의 일반화 능력은 얼마나 뛰어나며, 실제 적용에 얼마나 적합한가?

주요 결과

• 제안된 방법은 35 프레임 매초(fps)의 성능을 달성하여, 다른 딥 컨볼루션 네트워크 기반 프레임워크보다 추론 속도에서 뛰어난 성능을 보였다.
• 조명에 강인한 피부 분류기는 특히 급격한 조명 변화 상황에서 잘못된 탐지 수를 크게 줄였다.
• 픽셀 수준의 손 마스크는 단순히 경계 상자 기반 탐지만으로는 달성할 수 없는 손잡이 상태 분류 정확도 향상에 기여했다.
• 어려운 운전 조건에서 최신 수준의 픽셀 기반 손 탐지기보다 뛰어난 성능을 보였다.
• 실제 운전 환경에서 핸들 잡기와 스마트폰 잡기와 같은 미세한 손잡이 상태를 구분하는 데 손 마스크 신호가 필수적인 역할을 했다.
• 딥 러닝 특징과 조명에 강인한 피부 모델링을 조합함으로써 시스템은 가림 현상과 외관 변화에 뛰어난 강인성을 보였다.