[논문 리뷰] Body Gesture Recognition to Control a Social Robot

Javier Laplaza, Joan Jaume Oliver외 3명|arXiv (Cornell University)|2022. 06. 15.

Robotics and Automated Systems인용 수 4

한 줄 요약

이 논문은 자연스러운 인간의 제스처를 담은 맞춤형 데이터셋을 사용하여 신경망 기반의 신체 제스처 인식 시스템을 제안함으로써 사회적 로봇과의 직관적이고 비어벌적 상호작용을 가능하게 한다. 모델은 정적 전신 제스처를 분류하는 데 80% 이상의 정확도를 달성하였으며, 실험 결과 제스처 인식 로봇은 원격 제어에 의존하는 로봇보다 더 자연스럽고 사회적으로 느껴지며 편안하다고 평가되었다.

ABSTRACT

In this work, we propose a gesture based language to allow humans to interact with robots using their body in a natural way. We have created a new gesture detection model using neural networks and a custom dataset of humans performing a set of body gestures to train our network. Furthermore, we compare body gesture communication with other communication channels to acknowledge the importance of adding this knowledge to robots. The presented approach is extensively validated in diverse simulations and real-life experiments with non-trained volunteers. This attains remarkable results and shows that it is a valuable framework for social robotics applications, such as human robot collaboration or human-robot interaction.

연구 동기 및 목표

• 로봇 경험의 전제 없이도 자연스럽고 제스처 기반의 인간-로봇 상호작용 방법을 개발하기 위해.
• 비전문가 자원자들이 수행한 전신 제스처의 맞춤형 데이터셋을 구축하기 위해.
• 사용자 인식과 참여도 측면에서 기존 원격 제어 방식과의 비교를 통해 제스처 기반 상호작용을 평가하기 위해.
• 제스처 인식이 인간-로봇 상호작용에서 인식되는 사회성, 자연스러움, 편안함을 향상시키는지 조사하기 위해.

제안 방법

• 비전문가 자원자 15명이 정적 자세를 취한 상태에서 15종의 전신 제스처를 담은 맞춤형 데이터셋을 수집함.
• MediaPipe Pose를 사용하여 영상 시퀀스의 최종 프레임에서 33개의 3D 신체 지점(좌표 x, y, z, 가시성)을 추출함.
• 33개의 신체 지점 좌표를 기반으로 분류하기 위해 ReLU 활성화 함수를 사용한 4층의 완전 연결 신경망을 학습함.
• 일반화 성능 향상을 위해 배치 정규화와 드롭아웃을 적용한 선형 분류기 사용.
• 실생활 환경에서 비전문가 사용자를 대상으로 IVO 로봇을 활용하여 제스처 인식과 원격 제어를 비교하는 실험을 실시함.
• 사용자 인식 평가를 위해 7점 리커트 척도를 사용하여 사회성, 자연스러움, 안전성, 편안함을 측정하는 설문 조사 실시.

실험 결과

연구 질문

• RQ1 비전문가 사용자들이 인간-로봇 상호작용에서 제스처 기반 상호작용과 원격 제어를 어떻게 평가하는가?
• RQ2 제스처 인식이 사회적 로봇의 자연스러움과 사회성에 얼마나 기여하는가?
• RQ3 딥 러닝 모델이 영상 입력의 최종 프레임만을 사용하여 정적 전신 제스처를 정확하게 분류할 수 있는가?
• RQ4 제스처 인식은 로봇 상호작용 중 사용자의 편안함과 통제감에 어떤 영향을 미치는가?
• RQ5 제스처 인식은 인간-로봇 협업에서의 인식된 안전성과 참여도에 어떤 영향을 미치는가?

주요 결과

• 제스처 인식 모델은 대부분의 제스처에 대해 80% 이상의 분류 정확도를 달성하였으며, 외관상 유사한 제스처를 제외하고는 그러함.
• 사용자 설문 조사 결과, 제스처 기반 상호작용은 원격 제어 대비 자연스러움, 사회성, 편안함, 안전성 측면에서 유의미하게 높은 평가를 받음(p < 0.05).
• 참가자들은 로봇이 자신의 제스처를 이해할 때 더 인간다운 사회적 존재로 느끼며, 상호작용 시간이 길어지는 경향을 보였음.
• 로봇이 음성 및 구두 피드백을 사용하는 것은 적절하다고 평가되었으며, 상호작용 경험을 향상시켰음.
• 본 연구는 제스처 인식이 실생활 환경에서 인간-로봇 상호작용에 대한 사용자 인식과 수용도를 크게 향상시킨다는 점을 확인함.