[논문 리뷰] An Effective and Efficient Method for Detecting Hands in Egocentric Videos for Rehabilitation Applications

Ryan J. Visée, Jirapat Likitlersuang외 1명|arXiv (Cornell University)|2019. 08. 27.

Spinal Cord Injury Research참고 문헌 43인용 수 32

한 줄 요약

이 논문은 경추 spinal cord injury(SCI) 환자에서의 egocentric 영상에서 고정밀도 및 실시간 성능을 달성하기 위해 YOLOv2 객체 검출기와 KCF 또는 Median Flow 추적기를 조합한 하이브리드 수동 검출 방법을 제안한다. 최적의 조합(YOLO_KCF)은 F1-스코어 0.87±0.07를 달성했으며, 가장 빠른 단독 검출기보다 두 배 빠르게 작동하여 가정 기반 재활 모니터링에서 효율적이고 견고한 수동 추적을 가능하게 한다.

ABSTRACT

Objective: Individuals with spinal cord injury (SCI) report upper limb function as their top recovery priority. To accurately represent the true impact of new interventions on patient function and independence, evaluation should occur in a natural setting. Wearable cameras can be used to monitor hand function at home, using computer vision to automatically analyze the resulting videos (egocentric video). A key step in this process, hand detection, is difficult to do robustly and reliably, hindering deployment of a complete monitoring system in the home and community. We propose an accurate and efficient hand detection method that uses a simple combination of existing detection and tracking algorithms. Methods: Detection, tracking, and combination methods were evaluated on a new hand detection dataset, consisting of 167,622 frames of egocentric videos collected on 17 individuals with SCI performing activities of daily living in a home simulation laboratory. Results: The F1-scores for the best detector and tracker alone (SSD and Median Flow) were 0.90$\pm$0.07 and 0.42$\pm$0.18, respectively. The best combination method, in which a detector was used to initialize and reset a tracker, resulted in an F1-score of 0.87$\pm$0.07 while being two times faster than the fastest detector alone. Conclusion: The combination of the fastest detector and best tracker improved the accuracy over online trackers while improving the speed of detectors. Significance: The method proposed here, in combination with wearable cameras, will help clinicians directly measure hand function in a patient's daily life at home, enabling independence after SCI.

연구 동기 및 목표

• 경추 spinal cord injury( SCI) 환자에서의 egocentric 영상에서 계산적으로 효율적이고 정확한 수동 검출 방법을 개발하기 위해.
• 막힘, 조명 변화, 카메라 운동 등의 실제 환경 조건에서 견고한 수동 검출 도전 과제를 해결하기 위해.
• 가정 내에서 웨어러블 카메라를 활용한 상지 재활을 위한 실시간 수동 기능 모니터링을 가능하게 하기 위해.
• 검출기와 추적기의 장점을 융합하여 경량이고 효율적인 시스템을 개선하기 위해.
• 일상 생활 환경에서 수동 기능을 직접 측정할 수 있도록 하여 신규 치료법의 임상 평가를 지원하기 위해.

제안 방법

• 초기 수동 검출을 위해 YOLOv2를 사용하고, 지속적인 위치 추적을 위해 KCF 또는 Median Flow 추적기를 활용한다.
• 초기화 및 추적 실패 후 재초기화를 위해 단독 검출기 모드를 사용한다.
• 처리 부담을 줄이기 위해 검출과 추적을 동시에 처리하지 않고 번갈아가며 수행한다.
• 검출과 추적을 순차적으로 처리하는 단순한 비병렬 아키텍처를 사용한다.
• 추적 실패가 감지될 경우 검출기의 출력을 사용해 추적기를 재설정함으로써 막힘과 빠른 운동에 대한 견고성을 향상시킨다.
• 17명의 SCI 환자가 가정 시뮬레이션 실험실에서 일상적인 작업을 수행하는 영상 167,622帧으로 구성된 새로운 데이터셋에서 시스템을 평가한다.

실험 결과

연구 질문

• RQ1 하이브리드 검출-추적 시스템이 egocentric 영상에서 수동 검출의 정확도와 속도 측면에서 단독 검출기나 추적기보다 뛰어나게 성능을 발휘할 수 있는가?
• RQ2 YOLOv2와 KCF/Median Flow 추적기의 조합이 막힘과 조명 변화 등의 실제 환경 도전 과제에서 어떻게 성능을 발휘하는가?
• RQ3 제안된 방법이 실시간 배포를 위한 목표인 15–20 FPS를 달성하기 위해 저전력 하드웨어에서 실시간 성능을 확보할 수 있는가?
• RQ4 특히 추적 실패 처리 능력에서 단독 추적기 대비 시스템의 견고성은 어떻게 비교되는가?
• RQ5 사회적 상호작용과 같은 다른 수동 상호작용 패턴을 가진 외부 데이터셋으로도 일반화 가능한가?

주요 결과

• 최고의 단독 검출기(SSD)는 F1-스코어 0.90±0.07를 기록했으나, 최고의 추적기(Median Flow)는 0.42±0.18에 그쳤다.
• YOLO_KCF 조합은 F1-스코어 0.87±0.07를 달성했으며, 최고의 추적기만 사용할 경우보다 뛰어난 성능을 보였고, 가장 빠른 단독 검출기보다 두 배 빠른 133 FPS(68 FPS 대비)를 기록했다.
• CPU-i5에서 YOLO_KCF 조합은 4.4 FPS로 작동했으며, 이는 YOLOv2 단독 실행 시 0.3 FPS보다 15배 빠른 속도였다.
• CPU-i7에서 YOLO_MF 조합은 약 20 FPS로 추정되어 실시간 배포를 위한 목표인 15–20 FPS를 충족했다.
• 조합 방법는 단독 추적기보다 표준편차가 낮아 견고성과 신뢰도 향상을 보였다.
• 외부 데이터셋으로의 일반화 성능도 우수했으며, DAT는 EgoHands에서 평균 정밀도 0.722를 기록했고, 카메라 착용자의 손만 고려할 경우 이전 연구를 능가했다.