[논문 리뷰] Estimating Human Intent for Physical Human-Robot Co-Manipulation

Eric C. Townsend, Erich A. Mielke외 2명|arXiv (Cornell University)|2017. 05. 30.

Motor Control and Adaptation참고 문헌 16인용 수 7

한 줄 요약

이 논문은 인간-로봇 공동 운반 작업에서 인간의 의도를 예측하기 위해 인간 쌍의 과거 운동 데이터만을 사용하는 신경망 모델을 제안한다. 200 Hz의 운동 데이터 150개 시간 단위로 훈련된 모델은 향후 50단계의 속도를 평균 제곱오차(MSE) 0.02 (m/s)²로 예측하며, 간단한 임피던스 제어기를 갖춘 인간-로봇 쌍에서도 성공적으로 일반화되어 더 직관적인 로봇 협업을 가능하게 한다.

ABSTRACT

Human teams can be exceptionally efficient at adapting and collaborating during manipulation tasks using shared mental models. However, the same shared mental models that can be used by humans to perform robust low-level force and motion control during collaborative manipulation tasks are non-existent for robots. For robots to perform collaborative tasks with people naturally and efficiently, understanding and predicting human intent is necessary. However, humans are difficult to predict and model. We have completed an exploratory study recording motion and force for 20 human dyads moving an object in tandem in order to better understand how they move and how their movement can be predicted. In this paper, we show how past motion data can be used to predict human intent. In order to predict human intent, which we equate with the human team's velocity for a short time horizon, we used a neural network. Using the previous 150 time steps at a rate of 200 Hz, human intent can be predicted for the next 50 time steps with a mean squared error of 0.02 (m/s)^2. We also show that human intent can be estimated in a human-robot dyad. This work is an important first step in enabling future work of integrating human intent estimation on a robot controller to execute a short-term collaborative trajectory.

연구 동기 및 목표

• 물리적 인간-로봇 공동 운반 작업에서 인간의 의도를 예측하는 방법을 개발하여 더 직관적인 협업을 가능하게 하기.
• 과거 운동 데이터만으로 공동 물체 운반 작업에서 단기적인 인간 팀 속도를 예측할 수 있는지 확인하기.
• 한 명의 인간 파트너가 단순한 임피던스 제어기를 갖춘 로봇으로 대체될 경우에도 의도 예측 모델의 정확성이 유지되는지 검증하기.
• 실시간 반응형 협업을 위해 인간의 의도 추정을 로봇 제어기에 통합하는 기반 마련하기.
• 힘 또는 복잡한 센서 기반에 의존하지 않고도 운동 데이터만으로 의도 예측이 가능한지 타당성 탐색하기.

제안 방법

• 장대한 보드를 물체로 사용하여 20명의 인간 쌍이 테이블 운반 작업을 수행하면서 운동 및 힘 데이터를 수집하였다.
• 과거 운동 데이터만을 사용하여 팀의 향후 50단계(0.25초) 동안의 속도를 인간의 의도로 정의하였다.
• 과거 운동 데이터 150개 시간 단위(200 Hz)를 기반으로 피드포워드 신경망을 훈련하여 향후 50단계의 속도를 예측하였다.
• 모델 최적화를 위해 평균 제곱오차(MSE) 손실 함수를 사용하였으며, 훈련 및 검증 데이터를 별도로 분할하여 사용하였다.
• 한 명의 인간을 이동형 로봇으로 대체한 인간-로봇 쌍에서 모델의 성능을 검증하였다. 이 로봇은 단순한 임피던스 제어기를 탑재하고 있었다.
• 신경망의 성능을 다항 회귀 모델과 비교하였으며, 인코더 노이즈가 추가된 조건에서도 성능의 안정성을 평가하였다.

실험 결과

연구 질문

• RQ1 과거 운동 데이터만으로 공동 운반 작업에서 인간 팀의 의도(향후 속도)를 충분한 정확도로 예측할 수 있는가?
• RQ2 노이즈가 있는 실제 환경 조건에서 신경망 기반 의도 예측기의 성능이 전통적인 다항 회귀 모델보다 어떻게 다를까?
• RQ3 다른 동역학을 갖는 인간-로봇 쌍에서도 의도 예측 모델이 일반화 가능한가?
• RQ4 공동 운반 작업에서 운동 데이터만을 사용할 경우, 의도 예측의 유효한 시간 범위는 어느 정도인가?
• RQ5 로봇 시스템에서 일반적으로 발생하는 센서 노이즈에 대해 신경망 예측 성능는 얼마나 견고한가?

주요 결과

• 신경망은 과거 150개 시간 단위의 운동 데이터를 기반으로 향후 50단계(0.25초) 동안의 인간 팀 속도를 예측할 때 평균 제곱오차(MSE) 0.02 (m/s)²의 성능을 기록하였다.
• 노이즈 조건에서 다항 회귀 모델에 비해 신경망이 우수한 성능을 보였으며, 노이즈가 추가될수록 다항 회귀 예측의 정확도가 급격히 떨어지는 것으로 나타났다.
• 모델은 인간-로봇 쌍으로의 일반화가 효과적으로 이루어졌으며, 단순한 임피던스 제어기를 갖춘 로봇이 파트너일 경우에도 정확한 예측을 유지하였다.
• 훈련 및 검증 데이터에서 유사한 성능를 보이며 과적합이 명백히 나타나지 않았다.
• 예측 시간 범위의 첫 50단계 동안 정확도가 안정적으로 유지되어 단기적 의도 추정이 신뢰할 수 있음을 시사하였다.
• 결과적으로 운동 데이터만으로도 강건한 의도 추정이 가능하며, 실시간 로봇 제어기에 이러한 모델을 통합하는 것이 타당함을 뒷받침한다.