[논문 리뷰] Gesture Recognition for Initiating Human-to-Robot Handovers

Jun Kwan, Chinkye Tan외 1명|arXiv (Cornell University)|2020. 07. 20.

Hand Gesture Recognition Systems참고 문헌 16인용 수 8

한 줄 요약

이 논문은 단일 RGB 이미지에서 인간에서 로봇으로의 물건 인계 동작을 탐지하기 위해 모듈러하고 객체 중심의 딥러닝 접근법을 제안한다. 세 개의 신경망(객체 검출기, 인간 신체 관절 점 추정기, 머리 자세 예측기)을 거친 후, 이중 분류를 위한 다층 퍼셉트론을 사용한다. 신체 관절 점을 객체 기준으로 표현함으로써 90.6%의 정확도를 달성하며, 엔드 투 엔드 및 골격 기반 기준선보다 뛰어난 성능을 보였다.

ABSTRACT

Human-to-Robot handovers are useful for many Human-Robot Interaction scenarios. It is important to recognize when a human intends to initiate handovers, so that the robot does not try to take objects from humans when a handover is not intended. We pose the handover gesture recognition as a binary classification problem in a single RGB image. Three separate neural network modules for detecting the object, human body key points and head orientation, are implemented to extract relevant features from the RGB images, and then the feature vectors are passed into a deep neural net to perform binary classification. Our results show that the handover gestures are correctly identified with an accuracy of over 90%. The abstraction of the features makes our approach modular and generalizable to different objects and human body types.

연구 동기 및 목표

• 로봇에게 물건을 인계하고자 하는 인간의 의도를 탐지하여 안전하지 않은 움직임을 방지하기 위해 도전 과제를 해결한다.
• 단일 RGB 이미지에서의 시각적 신호만을 사용하여 인계 의도를 신뢰성 있게 식별할 수 있는 인지 시스템을 개발한다.
• 물체 유형, 인간의 외형, 이미지 내 위치에 관계없이 독립적인 모듈러하고 일반화 가능한 프레임워크를 구축한다.
• 인간-로봇 상호작용의 안전성과 신뢰성을 향상시키기 위해 의도적인 인계 동작와 우연한 물체 근접을 구분한다.

제안 방법

• 시스템은 Faster R-CNN을 사용하여 인간이 들고 있는 물체의 바운딩 박스 좌표를 출력한다.
• 17개의 인간 신체 관절 점을 검출하기 위해 KeyPoint R-CNN을 활용하며, 좌표는 물체의 바운딩 박스 기준으로 정규화되어 객체 중심 표현을 구현한다.
• 다중 손실 ResNet50 모델이 카메라 프레임 기준으로 투영된 유도각(Euler angles, 요, 피치, 롤)을 추정한다.
• 모든 세 모듈의 특징을 결합하여 26차원의 특징 벡터를 생성하며, 검출되지 않은 경우 더미 값(-999)을 사용한다.
• 이중 교차 엔트로피 손실을 사용하는 다층 퍼셉트론(MLP)이 특징 벡터를 이진 출력(인계 또는 비인계)으로 분류한다.
• 상대적 관절 점 좌표를 사용하여 강건성을 향상시키기 위해, 커스터마이징된 데이터셋을 5개의 랜덤 훈련/테스트 분할로 훈련한다.

실험 결과

연구 질문

• RQ1 단일 RGB 이미지를 사용하여 인간이 로봇에게 물건을 인계하고자 하는 의도를 신뢰성 있게 탐지할 수 있는가?
• RQ2 인간 신체 관절 점의 객체 중심 표현 방식이 다양한 인간 위치와 물체 유형 간의 탐지 강건성에 어떻게 기여하는가?
• RQ3 엔드 투 엔드 또는 골격 기반 접근 방식에 비해 모듈러 특징 추출 방식이 성능 향상에 기여하는가?
• RQ4 절대 좌표와 상대 좌표 기반의 특징 표현 방식이 분류 정확도에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 신체 관절 점을 객체 기준으로 표현했을 때 90.6%의 정확도를 기록하며, 모든 기준선을 초월했다.
• 엔드 투 엔드 ResNet50 기준선은 89.4%의 정확도를 기록하여, 원시 RGB 입력에서 이 작업의 어려움을 입증했다.
• CNN-on-skeleton-image 기준선은 83.3%의 정확도를 기록하여 수작업으로 만든 골격 표현 방식의 제한된 효과성을 보여주었다.
• 절대 픽셀 기반의 관절 점 표현 방식은 90.1%의 정확도를 기록하여, 상대적 표현 방식이 약간이지만 일관되게 향상된 성능을 제공함을 시사했다.
• 객체 중심 설계 덕분에 인간이 이미지 모서리에 서 있거나 물건을 들고 있지 않은 경우에도 정확히 인계 동작을 식별할 수 있었다.
• 실패 케이스가 관찰되었으며, 주로 데이터셋 크기의 제한과 고려되지 않은 시나리오로 인해 발생하여, 더 큰 다양성의 데이터로 개선 가능성을 시사했다.