[논문 리뷰] Toward safe separation distance monitoring from RGB-D sensors in human-robot interaction

Petr Švarný, Zdeněk Straka외 1명|arXiv (Cornell University)|2018. 10. 11.

Robotic Path Planning Algorithms참고 문헌 8인용 수 4

한 줄 요약

이 논문은 RGB-D 센서와 인간 자세 추정을 이용하여 인간과 로봇 간의 안전한 간격 모니터링을 위한 실시간 프레임워크를 제시한다. 인간과 로봇의 신체 관절 키포인트 간의 쌍별 거리를 계산함으로써, 고정된 구역을 초월하는 동적이고 조정 가능한 안전 모니터링을 가능하게 하며, RealSense와 OpenPose를 사용한 Nao 로봇에서 이를 구현하였다.

ABSTRACT

The interaction of humans and robots in less constrained environments gains a lot of attention lately and the safety of such interaction is of utmost importance. Two ways of risk assessment are prescribed by recent safety standards: (i) power and force limiting and (ii) speed and separation monitoring. Unlike typical solutions in the industry that are restricted to mere safety zone monitoring, we present a framework that realizes separation distance monitoring between a robot and a human operator in a detailed, yet versatile, transparent, and tunable fashion. The separation distance is assessed pair-wise for all keypoints on the robot and the human body and as such can be selectively modified to account for specific conditions. The operation of this framework is illustrated on a Nao humanoid robot interacting with a human partner perceived by a RealSense RGB-D sensor and employing the OpenPose human skeleton estimation algorithm.

연구 동기 및 목표

• 비정형 환경에서 증가하는 인간-로봇 상호작용(HRI)의 안전성 요구에 부응한다.
• 기존의 안전 구역 모니터링의 한계를 극복하여 세밀하고 동적인 간격 거리 추적을 가능하게 한다.
• 실시간으로 상호작용자 간 거리를 평가할 수 있는 투명하고 구성 가능한 방법을 개발한다.
• 인간 자세 추정과 로봇 운동학을 통합하여 정밀한 쌍별 거리 계산을 가능하게 한다.
• 실제 HRI 시나리오에서 프레임워크의 타당성과 반응성(즉각성)을 Nao 로봇을 통해 입증한다.

제안 방법

• RGB-D 센서를 활용하여 인간과 로봇의 인식을 위한 깊이 및 색상 데이터를 캡처한다.
• 실시간으로 2D/3D 인간 신체 키포인트를 추정하기 위해 OpenPose 알고리즘을 적용한다.
• 로봇 관절 상태를 정방향 운동학을 통해 3D 키포인트로 매핑하여 일관된 비교를 가능하게 한다.
• 모든 인간 및 로봇 신체 키포인트 쌍 간의 유클리드 거리를 계산하여 근접도를 평가한다.
• 각 키포인트 쌍에 대해 구성 가능한 임계값을 적용하여 조정 가능한 안전 정책을 구현한다.
• 실시간 제어 루프에 프레임워크를 통합하여 간격 변화에 동적으로 반응하도록 한다.

실험 결과

연구 질문

• RQ1 고정된 안전 구역을 초월하여 인간과 로봇 간의 간격을 세밀하고 실시간으로 정밀하게 모니터링할 수 있는 방법은 무엇인가?
• RQ2 RGB-D 센서와 인간 자세 추정이 HRI에서 신뢰할 수 있고 저지연의 상호작용자 간 거리 추적을 가능하게 할 수 있는가?
• RQ3 키포인트 수준의 거리 평가를 통해 안전 모니터링을 얼마나 투명하고 구성 가능하게 만들 수 있는가?
• RQ4 인간형 로봇과 동적인 인간 운동을 수반하는 실제 HRI 시나리오에서 시스템의 성능은 어떠한가?
• RQ5 해부학적 영역이나 작업 기반 제약 조건에 기반한 선택적 안전 정책을 프레임워크가 지원할 수 있는가?

주요 결과

• 프레임워크는 오직 RGB-D 데이터와 자세 추정만을 사용하여 인간과 로봇의 신체 키포인트 간 실시간 쌍별 거리 모니터링을 가능하게 한다.
• 시스템은 각 키포인트 쌍에 대해 구성 가능한 안전 임계값을 지원하여 다양한 상호작용 시나리오에 맞는 맞춤형 반응을 가능하게 한다.
• 실제 Nao 로봇과의 실시간 상호작용을 통해 입증된 바와 같이, 동적 HRI에 적합한 시간 해상도와 정확도를 확보한다.
• OpenPose와 로봇 운동학의 통합을 통해 정확한 거리 계산을 위한 일관된 3D 키포인트 정렬이 가능하다.
• 고정된 안전 구역 대비 투명하고 조정 가능한 대안을 제공하여 비정형 환경에서의 적응성 향상을 도모한다.
• 실제 HRI 환경에서의 타당성과 반응성을 입증한 구현을 통해 향후 안전 중심 응용 분야의 기반을 마련한다.