[논문 리뷰] Human-robot co-manipulation of extended objects: Data-driven models and control from analysis of human-human dyads

Erich Mielke, Eric Townsend외 2명|arXiv (Cornell University)|2020. 01. 03.

Robot Manipulation and Learning인용 수 4

한 줄 요약

이 논문은 인간-인간 듀엣의 운동 및 힘 데이터를 활용하여 인간의 의도를 예측하고, 직관적이고 적응형 제어를 가능하게 하는 데이터 기반 인간-로봇 공작업 프레임워크를 제안한다. 반복 신경망(RNN) 기반 제어기(NNPC)는 작업 완료 시간과 정확도에서 힘 기반 제어기(EVIC)를 능가하지만, 사용자들은 EVIC가 더 안전하고 예측 가능하다고 느껴져 성능과 인간의 신뢰 사이의 상충 관계를 드러낸다.

ABSTRACT

Human teams are able to easily perform collaborative manipulation tasks. However, for a robot and human to simultaneously manipulate an extended object is a difficult task using existing methods from the literature. Our approach in this paper is to use data from human-human dyad experiments to determine motion intent which we use for a physical human-robot co-manipulation task. We first present and analyze data from human-human dyads performing co-manipulation tasks. We show that our human-human dyad data has interesting trends including that interaction forces are non-negligible compared to the force required to accelerate an object and that the beginning of a lateral movement is characterized by distinct torque triggers from the leader of the dyad. We also examine different metrics to quantify performance of different dyads. We also develop a deep neural network based on motion data from human-human trials to predict human intent based on past motion. We then show how force and motion data can be used as a basis for robot control in a human-robot dyad. Finally, we compare the performance of two controllers for human-robot co-manipulation to human-human dyad performance.

연구 동기 및 목표

• 이동성과 굴곡이 있는 강성 물체의 인간-로봇 공작업에서 이동과 회전 간 의도의 모호성이 존재하는 문제를 해결하기 위해.
• 인간-인간 상호작용 패턴을 학습하여 직관적이고 적응형 신체적 인간-로봇 상호작용을 가능하게 하는 제어 프레임워크를 개발하기 위해.
• 신경망 기반 제어기(NNPC)와 힘 기반 제어기(EVIC), 그리고 망명한 인간-인간 듀엣 간의 성능 및 사용자 인식을 비교하기 위해.
• 운동 및 힘 데이터가 인체 공작업 과제에서 인간의 의도를 신뢰성 있게 예측할 수 있는지 조사하기 위해.
• 딥 러닝을 인간 운동 데이터에 적용하여 실시간으로 반응하는 로봇 제어를 가능하게 하는 실현 가능성 평가하기 위해.

제안 방법

• 장기간의 보드를 강성 물체로 사용하여 21개의 인간-인간 듀엣이 평면 공작업 과제를 수행하면서 운동 및 힘 데이터를 수집하였다.
• 인간-인간 데이터를 분석하여 추세를 도출: 무시할 수 없는 상호작용 힘, 운동 시작 시 토크 트리거, 최소-자기력 유사 궤적.
• 과거 운동 데이터(위치, 속도)를 기반으로 반복 신경망(RNN)을 훈련하여 향후 인간의 의도를 속도 기반으로 예측하였다.
• 모바일 기반의 Baxter 로봇에 신경망 기반 제어기(NNPC)를 구현하여 RNN을 활용해 의도를 추정하고 로봇 운동을 지시하였다.
• 3-자유도 평면 공작업을 위한 새로운 힘 기반 제어기인 확장형 가변 임피던스 제어(EVIC)를 설계하고 평가하였으며, 기존 및 双수 임피던스 제어를 개선하였다.
• 완료 시간, 궤적 부드러움, 사용자 선호도를 기준으로 NNPC와 EVIC를 망명한 인간-인간 듀엣과 비교하였다.

실험 결과

연구 질문

• RQ1 인간-인간 듀엣의 운동 및 힘 데이터는 연장된 물체를 공작하는 과제에서 인간의 의도를 신뢰성 있게 예측할 수 있는가?
• RQ2 딥 러닝 기반 의도 예측기(RNN)와 힘 기반 제어기(EVIC)의 성능 및 사용자 인식은 어떻게 비교되는가?
• RQ3 최소-자기력 궤적 및 토크 트리거와 같은 인간-인간 공작업 패턴은 효과적인 인간-로봇 제어 전략에 어떤 영향을 미치는가?
• RQ4 데이터 기반 운동 기반 제어기(NNPC)는 인간-인간 듀엣과 비교해 공작업 과제에서 유사한 성능을 달성할 수 있는가?
• RQ5 더 높은 성능을 보이는 학습 기반 제어기(NNPC)보다는 덜 정확한 힘 기반 제어기(EVIC)를 사용자들이 선호하는 이유는 무엇인가? 이는 비록 후자가 더 뛰어난 지표를 보였더라도.

주요 결과

• RNN 기반 제어기(NNPC)는 작업 완료 시간과 궤적 정확도에서 EVIC 제어기보다 유의미하게 뛰어나, 인간 운동 데이터 학습의 효과성을 입증하였다.
• NNPC는 완료 시간에서 망명한 인간-인간 듀엣과 유사한 성능을 달성하여 운동 기반 의도 예측이 인간 수준의 협업을 모방할 수 있음을 시사하였다.
• 우수한 성능에도 불구하고 사용자들은 EVIC 제어기를 더 선호하였으며, 이는 인지된 안전성, 예측 가능성, 혼란 감소 때문이었고, 성능과 신뢰 사이의 상충 관계를 드러냈다.
• 인간 파artners 간의 상호작용 힘은 무시할 수 없었으며 의사소통에 핵심적인 역할을 하였고, 이는 공작업에서 힘을 최소화해야 한다는 가정을 반박하였다.
• 횡방향 운동의 시작은 항상 리더의 토크 트리거로 일관되게 발생하였으며, 이는 의도의 고유한 생체역학적 서명을 나타내었다.
• 최소-자기력 궤적에서의 이탈은 공작업 성능 평가에 유효한 지표로 기능하였으며, 더 부드러운 궤적은 더 나은 조율을 의미하였다.