[논문 리뷰] Egocentric Hand Detection Via Dynamic Region Growing

Shao Huang, Weiqiang Wang외 2명|arXiv (Cornell University)|2017. 11. 10.

Hand Gesture Recognition Systems참고 문헌 32인용 수 3

한 줄 요약

이 논문은 운동 패턴과 네 가지 이고세트릭 측면(대trast, 위치, 위치 일관성, 외관 연속성)을 활용하여 자동으로 시드 영역를 생성하고 이를 정확한 손 영역로 확장하는 동적 영역 성장 방법을 제안한다. 이 방법은 실시간 효율성을 갖추고 있으며, 특히 다중 손이 존재하는 복잡한 상황에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Egocentric videos, which mainly record the activities carried out by the users of the wearable cameras, have drawn much research attentions in recent years. Due to its lengthy content, a large number of ego-related applications have been developed to abstract the captured videos. As the users are accustomed to interacting with the target objects using their own hands while their hands usually appear within their visual fields during the interaction, an egocentric hand detection step is involved in tasks like gesture recognition, action recognition and social interaction understanding. In this work, we propose a dynamic region growing approach for hand region detection in egocentric videos, by jointly considering hand-related motion and egocentric cues. We first determine seed regions that most likely belong to the hand, by analyzing the motion patterns across successive frames. The hand regions can then be located by extending from the seed regions, according to the scores computed for the adjacent superpixels. These scores are derived from four egocentric cues: contrast, location, position consistency and appearance continuity. We discuss how to apply the proposed method in real-life scenarios, where multiple hands irregularly appear and disappear from the videos. Experimental results on public datasets show that the proposed method achieves superior performance compared with the state-of-the-art methods, especially in complicated scenarios.

연구 동기 및 목표

• 복잡한 환경에서 다수의 손과 동적인 운동이 존재하는 이고세트릭 영상에서 정확하고 효율적인 손 검출의 과제를 해결한다.
• 정적 배경을 전제로 하는 기존 방법의 한계를 극복하고, 복잡한 환경에서 높은 계산 비용을 초래하는 문제를 해결한다.
• 손의 수나 운동에 대한 사전 가정 없이 변화하는 손의 외관과 위치에 동적으로 적응할 수 있는 방법을 개발한다.
• 실시간으로 자원 제약이 있는 장치에 구현 가능한 정확도와 계산 효율성의 균형을 확보한다.
• 다중 손, 가림, 복잡한 배경, 비정상적인 손 외관 등의 어려운 조건에서의 견고성을 향상시키기 위해 다수의 이고세트릭 특화 측면을 통합한다.

제안 방법

• 연속 프레임 간의 운동 패턴 분석을 통해 카메라 운동과 손 운동을 호모그래피 추정을 통해 구분함으로써 손에 속할 가능성이 높은 시드 영역를 식별한다.
• 네 가지 이고세트릭 측면인 대비, 위치, 위치 일관성, 외관 연속성에 기반한 점수를 가장 높게 갖는 인접 슈퍼픽셀로 반복적으로 확장함으로써 시드 영역에서 동적 영역 성장을 시작한다.
• 현재 및 이전 프레임에서의 공간적 및 외관적 제약 조건을 고려해 영역 성장 점수를 계산함으로써 시간적 일관성을 확보하고 잡음 신호를 줄인다.
• 변화하는 손의 외관에 적응하기 위해 외관 모델을 동적으로 초기화, 갱신, 만료함으로써 복잡한 환경에서의 견고성을 향상시킨다.
• 저점수 슈퍼픽셀에 대해서는 불필요한 측면 계산을 생략하는 조기 거부 메커니즘을 적용하여 런타임 효율성을 크게 향상시킨다.
• 분할 정확도와 계산 부담의 균형을 확보하기 위해 슈퍼픽셀을 기본 이미지 단위로 사용하여 640×360 해상도에서 효율적인 처리를 가능하게 한다.

실험 결과

연구 질문

• RQ1 정적 배경을 전제로 하지 않고도, 연속 프레임 간의 운동 패턴 분석이 이고세트릭 영상에서 카메라 운동과 손 운동을 신뢰성 있게 구분할 수 있는가?
• RQ2 대비, 위치, 위치 일관성, 외관 연속성 등의 이고세트릭 특화 측면은 표준 외관 또는 운동 기반 방법에 비해 영역 성장 정확도를 얼마나 향상시키는가?
• RQ3 변동 가능한 외관 모델링을 갖춘 동적 영역 성장이 다수의 손, 가림, 비정상적인 외관을 보이는 복잡한 환경에서 성능을 얼마나 향상시키는가?
• RQ4 제안된 방법은 실시간 및 자원 제약이 있는 환경에서 정확도와 계산 효율성의 균형을 어떻게 유지하는가?
• RQ5 α 및 β 매개변수 설정이 다양한 이고세트릭 영상 데이터셋에서 검출의 견고성과 성능에 미치는 영향은 어떠한가?

주요 결과

• 제안된 방법은 공개 데이터셋에서 뛰어난 성능을 달성하였으며, ADL 데이터셋에서 F1-스코어 0.375, GTEA 데이터셋에서 0.371를 기록하여 복잡한 상황에서 최신 기술 수준의 방법들을 능가한다.
• 표준 PC(640×360)에서 약 32fps로 실행되어 실시간 기능을 입증하였으며, 512MB RAM 또는 2GB RAM의 오래된 하드웨어에서도 각각 13fps, 38fps(320×240)로 높은 효율성을 유지한다.
• 매개변수 분석 결과 α와 β의 변화에 대해 뚜렷한 성능 변동 없이 안정적인 성능을 보이며 다양한 설정에서의 안정성을 확인하였다.
• 조기 거부 단계는 ADL 데이터셋에서 정확도에 약 1.3%의 성능 하락을 초래하면서도 약 23ms의 계산 시간을 절약하여 효율 최적화의 효과를 입증하였다.
• 제거 실험 결과 모든 네 가지 이고세트릭 측면—특히 외관 연속성과 위치 일관성—이 검출 정확도에 크게 기여하며, EgoHands 데이터셋에서는 외관 연속성이 가장 큰 영향을 미쳤다.
• 기존 방법들인 모델 추천(1초), 혼합 모델(100ms), DP-DPM(2초), R-CNN(9초), 다른 영역 성장 방법들(40ms)에 비해 빠른 처리 속도를 확보하면서도 높은 정확도를 유지하여 뚜렷한 성능 향상을 입증하였다.