[논문 리뷰] Hand Segmentation for Hand-Object Interaction from Depth map

Byeongkeun Kang, Kar-Han Tan외 4명|arXiv (Cornell University)|2016. 03. 08.

Hand Gesture Recognition Systems참고 문헌 23인용 수 12

한 줄 요약

이 논문은 색상 기반 방법의 한계를 극복하기 위해 깊이 맵만을 사용하여 수동-물체 상호작용 중 손 분할을 위한 이단계 랜덤 결정수림(RDF) 방법을 제안한다. 이 방법은 먼저 손 영역을 검출하고, 이후 깊이 특징을 사용하여 픽셀 수준의 분할을 수행하며, 높은 정확도(F1 점수: 68.7%)와 낮은 처리 시간(10.7 ms)을 달성하여 최신 기술 대비 빠른 속도를 확보하면서도 경쟁 가능한 정확도를 유지한다.

ABSTRACT

Hand segmentation for hand-object interaction is a necessary preprocessing step in many applications such as augmented reality, medical application, and human-robot interaction. However, typical methods are based on color information which is not robust to objects with skin color, skin pigment difference, and light condition variations. Thus, we propose hand segmentation method for hand-object interaction using only a depth map. It is challenging because of the small depth difference between a hand and objects during an interaction. To overcome this challenge, we propose the two-stage random decision forest (RDF) method consisting of detecting hands and segmenting hands. To validate the proposed method, we demonstrate results on the publicly available dataset of hand segmentation for hand-object interaction. The proposed method achieves high accuracy in short processing time comparing to the other state-of-the-art methods.

연구 동기 및 목표

• 빛의 세기, 색소, 물체 색상의 변화로 인해 피부 색상 기반 방법이 실패하는 손-물체 상호작용 중 견고한 손 분할 문제를 해결하기 위해.
• 색상 정보에 의존하지 않고 깊이 맵 전용 접근법을 개발하여 다양한 조명 조건과 피부 톤 변화에 대비한 견고성을 확보하기 위해.
• 손과 유사한 깊이를 가진 물체나 가까이 붙어 있는 신체 부위(예: 팔)가 포함된 복잡한 상황에서도 분할 정확도를 향상시키기 위해.
• 증강현실, 로봇공학, 인간-로봇 상호작용 등의 응용 분야에 적합한 실시간 성능를 확보하기 위해.
• 27,525개의 레이블이 부여된 손-물체 상호작용 샘플을 포함한 새로 수집된 공개 가능한 깊이 맵 데이터셋을 기반으로 방법을 검증하기 위해.

제안 방법

• 이 방법은 이단계 RDF 프레임워크를 사용한다: 먼저 전체 깊이 맵 분석을 통해 손 영역을 검출하고, 이후 검출된 영역에서 분할을 정밀하게 보정한다.
• RDF의 각 결정수는 깊이 맵 상의 두 상대적 점 간의 깊이 차이를 분할 기준으로 사용한다: $ f(\boldsymbol{x},\boldsymbol{D},\boldsymbol{u},\boldsymbol{v}) = D_{\boldsymbol{x}+\boldsymbol{u}/\boldsymbol{D}_{\boldsymbol{x}}}} - D_{\boldsymbol{x}+\boldsymbol{v}/\boldsymbol{D}_{\boldsymbol{x}}}} $.
• 잎 노드에서는 학습 중에 조건부 확률 분포를 학습하고, 추론 시에 이를 활용하여 클래스 레이블(손 또는 비손)을 할당한다.
• 공간적 및 깊이 가중 필터를 적용하여 예측을 정밀하게 보정하며, 이는 가우시안 함수를 사용한다: $ g_r(r) = \exp(-r^2 / (2\sigma_r^2)) $, $ g_s(s) = \exp(-s^2 / (2\sigma_s^2)) $, $ \sigma_r = \sigma_s = 100 $.
• 첫 번째 단계는 전체 깊이 맵을 ROI로 사용하며, 두 번째 단계는 검출된 손 영역에 국한하여 처리하여 효율성과 정확도를 향상시킨다.
• 이 방법은 Microsoft Kinect v2를 사용해 수집한 27,525개의 깊이 맵-레이블 쌍으로 구성된 맞춤형 데이터셋을 기반으로 학습된다.

실험 결과

연구 질문

• RQ1 깊이 맵 전용 접근법이 조명 조건과 피부 색상 변화에 영향을 받지 않고 손-물체 상호작용 중에 견고한 손 분할을 달성할 수 있는가?
• RQ2 복잡한 상호작용 상황에서 단일 단계 방법 대비 이단계 RDF 프레임워크가 분할 정확도를 어떻게 향상시킬 수 있는가?
• RQ3 딥 러닝 모델 대비 RDF 기반 방법을 깊이 데이터에 적용할 경우 정확도와 처리 시간 간의 상호 상충 관계는 어떻게 나타나는가?
• RQ4 공간적 및 깊이 인식 필터링이 겹치거나 모호한 영역에서 RDF 기반 손 분할 성능을 향상시킬 수 있는가?
• RQ5 F1 점수와 추론 속도 측면에서 최신 기술 대비 제안된 방법은 어떻게 비교되는가?

주요 결과

• 제안된 방법은 11×11 필터를 사용할 때 F1 점수 68.7%를 달성하였으며, 베이스라인 RDF 방법 대비 25% 상대적 향상(베이스라인 F1: 53.7%)을 보였다.
• 이 방법은 평균적으로 10.7 ms 내로 이미지를 처리하며, FCN-8s 대비 42배 빠르게 동작하여 실시간 응용에 적합하다.
• 이단계 RDF 프레임워크는 베이스라인 RDF 대비 재현율을 72.7%에서 77.4%로 향상시켜 진짜 양성 손 픽셀을 더 잘 탐지함을 보여주었다.
• 정밀도와 F1 점수 모두에서 베이스라인 RDF 및 제안된 보정 단계를 결합한 방법보다 뛰어나, 계단식 설계의 효과성을 입증하였다.
• 베이스라인 RDF(정확도 F1: 53.7%)보다 높은 정확도를 달성하였고, FCN-8s(F1: 72.3%) 대비 7% 낮은 F1 점수를 기록하였지만, 추론 시간은 크게 감소하였다.
• 시각적 비교 결과, 제안된 방법은 손이 물체나 팔과 접촉하는 영역에서도 더 정확하고 일관성 있는 손 마스크를 생성함을 확인하였다.