[논문 리뷰] Adaptable Human Intention and Trajectory Prediction for Human-Robot Collaboration

Abulikemu Abuduweili, Siyan Li외 1명|arXiv (Cornell University)|2019. 09. 11.

Human Pose and Action Recognition참고 문헌 18인용 수 6

한 줄 요약

이 논문은 실시간 온라인 적응을 위한 비선형 순환 최소 제곱 파rameter 적응 알고리즘(NRLS-PAA)을 사용하여 인간-로봇 협업(HRC)에서 인간의 궤적과 의도를 동시에 예측하는 다중 작업 딥 러닝 프레임워크를 제안한다. 이 방법은 새로운 사용자에 대해 궤적 예측 오차를 28% 이상 감소시켜 빠르고 데이터 효율적이며 적응 가능한 높은 정확도와 일반화 능력을 갖춘 HRC 통합을 가능하게 한다.

ABSTRACT

To engender safe and efficient human-robot collaboration, it is critical to generate high-fidelity predictions of human behavior. The challenges in making accurate predictions lie in the stochasticity and heterogeneity in human behaviors. This paper introduces a method for human trajectory and intention prediction through a multi-task model that is adaptable across different human subjects. We develop a nonlinear recursive least square parameter adaptation algorithm (NRLS-PAA) to achieve online adaptation. The effectiveness and flexibility of the proposed method has been validated in experiments. In particular, online adaptation can reduce the trajectory prediction error by more than 28% for a new human subject. The proposed human prediction method has high flexibility, data efficiency, and generalizability, which can support fast integration of HRC systems for user-specified tasks.

연구 동기 및 목표

• 최소한의 데이터로 인간-로봇 협업(HRC) 시스템을 신속하고 사용자 맞춤형으로 통합할 수 있도록 한다.
• 예측 정확도를 높이기 위해 인간 행동의 확률적 특성과 이질성을 다루는 데에 초점을 맞춘다.
• 높은 정밀도로 인간의 궤적과 의도를 동시에 예측할 수 있는 모델을 개발한다.
• 개별 사용자 행동에 맞는 예측 모델의 실시간 온라인 적응을 가능하게 한다.
• 다중 작업 학습과 파rameter 적응을 통해 HRC 시스템의 데이터 효율성과 일반화 능력을 향상시킨다.

제안 방법

• 다중 작업 딥 러닝 모델은 궤적 예측을 위한 인코더-디코더 GRU 네트워크와 의도 예측을 위한 분류기로 구성된다.
• 모델은 공유된 인코더 표현을 사용하여 공동 학습을 가능하게 하며, 의도 예측은 디코더의 은닉 상태에 조건화된다.
• NRLS-PAA 알고리즘은 비선형 매핑을 사용하는 순환 최소 제곱을 통해 네트워크 가중치의 온라인 비선형 파rameter 적응을 가능하게 한다.
• 속도와 정확도의 균형을 맞추기 위해 1단계, 2단계, 5단계 업데이트 전략을 지원하는 인크리멘탈 적응을 구현한다.
• 프레임워크는 작업 구조를 명시하고 예측된 인간 행동에 기반한 로봇 행동을 유도하기 위해 AND-OR 그래프를 사용한다.
• 데이터 전처리에는 궤적의 부드러움을 확보하고 깊이 영상의 구멍을 메우기 위해 칼만 필터링을 적용한다.

실험 결과

연구 질문

• RQ1 단일 작업 모델에 비해 다중 작업 학습 모델이 인간 궤적과 의도 예측의 정확도를 동시에 향상시키는가?
• RQ2 NRLS-PAA를 통한 온라인 파rameter 적응은 새로운 인간 주제에 대해 예측 오차를 얼마나 효과적으로 감소시키는가?
• RQ3 다중 작업 학습은 인간 행동 예측에서 과적합을 얼마나 줄이고 일반화 능력을 향상시키는가?
• RQ4 적응 단계 크기(1단계, 2단계, 5단계)의 선택이 예측 정확도와 계산 비용에 어떤 영향을 미치는가?
• RQ5 제안된 프레임워크는 사용자 지정 작업을 위한 빠르고 데이터 효율적인 HRC 시스템 통합을 가능하게 하는가?

주요 결과

• 다중 작업 모델은 단일 작업 모델 대비 의도 예측 정확도를 3.44% 향상시키고 궤적 예측 MSE를 6.79% 개선했다.
• 5단계 적응을 사용할 경우 NRLS-PAA 적응이 비적응 기준선 대비 궤적 예측 MSE를 28.03% 감소시켰다.
• 5단계 적응을 통해 의도 예측 정확도가 1.72% 향상되어 개인 간 행동 차이에 대한 강건성이 향상됨을 입증했다.
• 5단계 적응 전략이 최고의 성능를 기록했으며, 인코더 은닉층을 적응하는 데 평균 0.3초의 추론 시간을 기록했다.
• 5단계 NRLS-PAA 적응 후 모델은 의도 예측 정확도 94.6%와 MSE 3.964 cm²를 달성하여 비적응 기준선을 능가했다.
• 제안된 프레임워크는 새로 등장한 인간 주제에 대해 뚜렷한 성능 향상을 보이며, HRC 시스템의 빠른 통합과 높은 일반화 능력을 가능하게 했다.