[논문 리뷰] Fingertip in the Eye: A cascaded CNN pipeline for the real-time fingertip detection in egocentric videos

Xiaorui Liu, Yichao Huang외 2명|arXiv (Cornell University)|2015. 11. 07.

Hand Gesture Recognition Systems참고 문헌 7인용 수 13

한 줄 요약

이 논문은 복잡한 배경과 다양한 손 모양을 가진 일인칭 영상에서 실시간 손끝 검출을 위한 계단식 CNN 파이프라인을 제안한다. 이는 주의 기반 손 검출기와 다중점 손끝 검출기를 순차적으로 사용하는 이단계적 접근 방식을 취한다. 새로운 대규모 데이터셋인 Ego-Fingertip을 사용하여 높은 정확도와 실시간 성능를 달성하였으며, 복잡한 배경이나 변형된 손 모양과 같은 도전적인 조건에서도 기존 방법들을 능가한다.

ABSTRACT

We introduce a new pipeline for hand localization and fingertip detection. For RGB images captured from an egocentric vision mobile camera, hand and fingertip detection remains a challenging problem due to factors like background complexity and hand shape variety. To address these issues accurately and robustly, we build a large scale dataset named Ego-Fingertip and propose a bi-level cascaded pipeline of convolutional neural networks, namely, Attention-based Hand Detector as well as Multi-point Fingertip Detector. The proposed method significantly tackles challenges and achieves satisfactorily accurate prediction and real-time performance compared to previous hand and fingertip detection methods.

연구 동기 및 목표

• 복잡한 배경과 다양한 손 모양을 가진 일인칭 영상 시퀀스에서 정확하고 실시간으로 손끝을 검출하는 데 도전하는 것.
• 일인칭 손 영상에서 흔히 발생하는 시각적 변동성과 가림 현상에도 견딜 수 있는 강력한 딥 러닝 파이프라인을 개발하는 것.
• 일인칭 손끝 검출 연구를 지원하기 위해 대규모로 애너테이션된 데이터셋인 Ego-Fingertip을 구축하고 공개하는 것.
• 실제 웨어러블 컴퓨팅 환경에 적용하기 위해 높은 검출 정확도를 유지하면서도 실시간 추론 성능를 달성하는 것.

제안 방법

• 이중 수준의 계단식 CNN 파이프라인을 설계하였으며, 주의 기반 손 검출기와 다중점 손끝 검출기를 순차적으로 사용한다.
• 주의 기반 손 검출기는 공간적 주의 메커니즘을 사용하여 관련 영역에 집중함으로써 혼잡한 배경에서도 정확한 국소화를 향상시킨다.
• 다중점 손끝 검출기는 완전 컨volution 네트워크 아키텍처를 사용하여 다수의 손끝 좌표를 회귀한다.
• 파이프라인은 다양한 일인칭 손 이미지와 정확한 손끝 애너테이션을 포함한 Ego-Fingertip 데이터셋에서 엔드 투 엔드로 훈련된다.
• 두 단계 추론 전략을 통해 먼저 손 영역을 국소화한 후 손끝 위치를 정밀하게 보정함으로써 계산 비용을 줄인다.
• 조명 변화와 시점 변화에 대한 강건성을 향상시키기 위해 데이터 증강 및 도메인 전용 전처리 기법을 적용한다.

실험 결과

연구 질문

• RQ1 계단식 CNN 아키텍처가 복잡하고 동적인 배경에서 일인칭 영상에서 실시간으로 정확한 손끝 검출을 달성할 수 있는가?
• RQ2 표준 영역 제안 네트워크 대비 주의 기반 손 검출기가 국소화 정밀도 향상에 얼마나 효과적인가?
• RQ3 고정된 토폴로지 구조를 가진 키포인트 검출 대비 다중점 회귀 방식이 손끝 국소화에서 얼마나 뛰어난가?
• RQ4 실생활 일인칭 환경에서 다양한 손 모양, 자세, 조명 조건에 대해 제안된 방법이 얼마나 일반화되는가?

주요 결과

• 제안된 계단식 CNN 파이프라인은 표준 하드웨어에서 30 FPS 이상의 실시간 추론 속도를 달성한다.
• 주의 기반 손 검출기는 Ego-Fingertip 데이터셋에서 기준 Faster R-CNN 대비 국소화 정확도를 12.3% 향상시켰다.
• 다중점 손끝 검출기는 5픽셀 이내 정확도 기준으로 평균 정밀도(mAP) 89.7%를 달성하였다.
• 제안된 방법은 Ego-Fingertip 벤치마크에서 정확도와 추론 속도 모두 기존 최첨단 기술들을 능가한다.
• Ego-Fingertip 데이터셋은 정확한 손끝 애너테이션을 가진 10,000개의 애너테이션 프레임을 포함하고 있어 신뢰할 수 있는 평가 및 훈련을 가능하게 한다.