[논문 리뷰] Detecting Hands and Recognizing Physical Contact in the Wild

Supreeth Narasimhaswamy, Trung Nguyen외 1명|arXiv (Cornell University)|2020. 01. 01.

Hand Gesture Recognition Systems인용 수 3

한 줄 요약

이 논문은 제약 없는 이미지에서 손을 동시에 검출하고 신체적 접촉 상태를 인식하기 위해 이중 주의 메커니즘을 갖춘 새로운 Mask-RCNN 기반 네트워크를 제안한다. 객체 검출기 출력과 공간적 주의 특징 풀링을 활용하여, 새로운 데이터셋 ContactHands에서 기준 Mask-RCNN 대비 7%의 상대적 성능 향상을 달성한다. ContactHands는 실제 환경의 장면에 대한 손과 접촉 상태 레이블을 제공한다.

ABSTRACT

We investigate a new problem of detecting hands and recognizing their physical contact state in unconstrained conditions. This is a challenging inference task given the need to reason beyond the local appearance of hands. The lack of training annotations indicating which object or parts of an object the hand is in contact with further complicates the task. We propose a novel convolutional network based on Mask-RCNN that can jointly learn to localize hands and predict their physical contact to address this problem. The network uses outputs from another object detector to obtain locations of objects present in the scene. It uses these outputs and hand locations to recognize the hand's contact state using two attention mechanisms. The first attention mechanism is based on the hand and a region's affinity, enclosing the hand and the object, and densely pools features from this region to the hand region. The second attention module adaptively selects salient features from this plausible region of contact. To develop and evaluate our method's performance, we introduce a large-scale dataset called ContactHands, containing unconstrained images annotated with hand locations and contact states. The proposed network, including the parameters of attention modules, is end-to-end trainable. This network achieves approximately 7\% relative improvement over a baseline network that was built on the vanilla Mask-RCNN architecture and trained for recognizing hand contact states.

연구 동기 및 목표

• 로컬 손 외관만으로는 정확한 추론이 어려운 제약 없는 실제 이미지에서 손을 검출하고 그들의 신체적 접촉 상태를 인식하는 도전 과제를 해결하기 위해.
• 특정 손-물체 접촉 지점이나 영역을 나타내는 레이블이 부족하여 접촉 추론에 대한 지도 학습이 저해되는 문제를 극복하기 위해.
• 손과 물체 간의 공간적 및 특징 수준의 관계를 모델링하기 위해 주의 메커니즘을 활용하여 손을 동시에 국소화하고 접촉 상태를 예측하는 통합 딥 러닝 프레임워크를 개발하기 위해.
• 제약 없는 환경에서 손 접촉 인식 모델의 훈련 및 평가를 지원하기 위해 대규모 실생활 데이터셋인 ContactHands를 구축하기 위해.

제안 방법

• 손과 물체 간의 영역 유사도를 기반으로 하는 새로운 주의 메커니즘을 Mask-RCNN에 통합하여, 손 영역로 손-물체의 공동 영역에서 특징을 조밀하게 풀링한다.
• 두 번째 주의 모듈을 활용하여 풀링된 영역에서 주목할 만한 특징을 적응적으로 선택하여 접촉 상태 예측을 정밀화한다.
• 장면 내 물체 위치를 제공하기 위해 별도의 객체 검출기 출력을 사용하며, 이를 주의 계산을 위한 타당한 접촉 영역 정의에 활용한다.
• 모든 구성 요소, 특히 주의 모듈까지도 함께 최적화되는 엔드 투 엔드 학습 가능한 네트워크를 설계한다.
• RoIAlign을 사용하여 특징 추출 및 영역 풀링을 수행하여 공간 해상도를 유지하고 주의 모듈의 국소화 정확도를 향상시킨다.
• 손과 물체의 바운딩 박스, 그리고 접촉 상태 레이블이 포함된 ContactHands 데이터셋에서 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델은 제약 없는 실제 이미지에서 손을 동시에 검출하고 그들의 신체적 접촉 상태를 인식할 수 있는가?
• RQ2 주의 메커니즘이 손과 물체 간의 공간적 및 특징 수준의 관계를 접촉 인식에 효과적으로 모델링하는 데 얼마나 유용한가?
• RQ3 객체 검출기 출력을 통합함으로써 손 접촉 상태 예측 정확도는 어느 정도 향상되는가?
• RQ4 기본 모델인 표준 Mask-RCNN 대비 제안된 모델은 접촉 인식 성능 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 모델은 손 접촉 상태 인식을 위해 훈련된 기준 Mask-RCNN 모델 대비 7%의 상대적 성능 향상을 달성한다.
• 이중 주의 메커니즘은 손과 물체 간의 상호작용에서 주목할 만한 영역에 집중함으로써 접촉 추론을 위한 특징 표현을 크게 향상시킨다.
• ContactHands 데이터셋은 제약 없는 실제 장면에서의 손 검출 및 접촉 인식 평가를 위한 유용한 벤치마크를 제공한다.
• 객체 검출기 출력의 통합은 모델이 타당한 접촉 영역을 국소화하고 추론하는 능력을 향상시킨다.
• 엔드 투 엔드 학습 방식은 주의 모듈과 전체 검출 및 인식 파이프라인의 효과적인 최적화를 가능하게 한다.
• 주의 기반 특징 정밀화 덕분에 모델은 가림과 다양한 손-물체 상호작용이 존재하는 복잡한 장면에서도 강건성을 보인다.