[논문 리뷰] STPOTR: Simultaneous Human Trajectory and Pose Prediction Using a Non-Autoregressive Transformer for Robot Following Ahead

Mohammad Mahdavian, Payam Nikdel외 2명|arXiv (Cornell University)|2022. 09. 15.

Human Pose and Action Recognition인용 수 4

한 줄 요약

이 논문은 로봇의 앞서기 작업을 위한 인간의 3D 궤적과 전신 자세를 동시에 예측하는 비자기적 Transformer 모델인 STPOTR를 제안한다. 이중 인코더와 디코더를 활용한 공유 표현을 통해 다중 헤드 어텐션을 적용함으로써 빠르고 정확한 예측을 달성하여, 앉기-일어나기와 같은 복잡한 운동 상황에서도 견고한 실세계 로봇 따라하기를 가능하게 한다. 이는 이전 방법들보다 속도와 다양한 인간 행동에 대한 일반화 능력에서 뛰어나다.

ABSTRACT

In this paper, we develop a neural network model to predict future human motion from an observed human motion history. We propose a non-autoregressive transformer architecture to leverage its parallel nature for easier training and fast, accurate predictions at test time. The proposed architecture divides human motion prediction into two parts: 1) the human trajectory, which is the hip joint 3D position over time and 2) the human pose which is the all other joints 3D positions over time with respect to a fixed hip joint. We propose to make the two predictions simultaneously, as the shared representation can improve the model performance. Therefore, the model consists of two sets of encoders and decoders. First, a multi-head attention module applied to encoder outputs improves human trajectory. Second, another multi-head self-attention module applied to encoder outputs concatenated with decoder outputs facilitates learning of temporal dependencies. Our model is well-suited for robotic applications in terms of test accuracy and speed, and compares favorably with respect to state-of-the-art methods. We demonstrate the real-world applicability of our work via the Robot Follow-Ahead task, a challenging yet practical case study for our proposed model.

연구 동기 및 목표

• 로봇 앞서기의 도전 과제를 해결하기 위해, 의도 예측이 필요한 점을 감안할 때 뒤따라가는 것이나 옆을 따라가는 것보다 더 복잡한 앞서기 작업의 어려움을 다루기 위함.
• 궤적 예측 외에도 인간 신체 자세를 통합함으로써 운동 의도를 더 잘 파악함으로써 로봇 따라하기 성능을 향상시키기 위함.
• 자기적 모델의 한계를 극복하고, 로봇에 적합한 실시간 구현이 가능한 빠르고 정확한 모델을 개발하기 위함.
• 단일 통합 운동 예측 모델을 통해 여러 종류의 따라하기 행동(예: 옆따라가기, 거리 변동 따라가기 등)을 지원하는 일반화된 제어 정책을 가능하게 하기 위함.
• 3D 인간 자세 추정 파이프라인과 TurtleBot2 플랫폼을 활용하여 실세계 적용 가능성을 입증하기 위함.

제안 방법

• 모델은 두 개의 병렬 비자기적 Transformer를 사용한다: 하나는 허리 관절 궤적을 예측하고, 다른 하나는 허리 관절 기준 전신 자세를 예측한다.
• 궤적 예측을 향상시키기 위해, 관련된 공간적 및 시간적 특징에 주목하는 다중 헤드 자기어텐션 모듈을 인코더 출력에 적용한다.
• 인코더와 디코더 출력을 연결하여 처리하는 또 다른 다중 헤드 어텐션 모듈을 통해 궤적과 자세 양쪽 모두의 장거리 시간적 의존성을 모델링한다.
• 관측된 인간 운동 시퀀스에 대해 엔드 투 엔드로 훈련되며, 미래 운동 예측을 동시에 수행함으로써 노출 오차를 방지하고 추론 시간을 단축시킨다.
• 실시간으로 ZED2 카메라와 3D 자세 추정을 활용해 인간 운동을 추정하며, 최근 5프레임(0.5초)을 STPOTR에 입력하여 향후 20프레임(2초)을 예측한다.
• 로봇의 목표 위치는 20번째 프레임에서 예측된 인간 자세 기준 1.5m 앞에 설정되며, Time Elastic Band(TEB) 플래너를 통해 안전한 주행을 보장한다.

실험 결과

연구 질문

• RQ1 비자기적 Transformer 아키텍처가 자기적 모델보다 인간 궤적과 3D 자세의 동시 예측에서 더 빠르고 정확한 성능을 달성할 수 있는가?
• RQ2 궤적과 자세의 동시 예측이 공유 표현 학습을 통해 성능 향상에 기여하는가?
• RQ3 이러한 모델이 앉기-일어나기와 같은 비직선적 인간 운동을 포함한 복잡한 실세계 상황에서도 견고한 로봇 앞서기 제어를 가능하게 하는가?
• RQ4 재학습 없이도 여러 종류의 로봇 따라하기 행동(예: 옆따라가기, 거리 변동 따라가기 등)에 일반화 가능한가?
• RQ5 운동 캡처 기반 방법과 비교해 노이즈가 있는 실세계 3D 자세 추정 환경에서 성능이 어떻게 유지되는가?

주요 결과

• 손으로 설계한 및 강화학습 기반 기준 모델 대비 S자형 및 U자형 궤적에서 유의미하게 높은 평균 보상치를 기록하여, 복잡한 운동 예측 성능이 뛰어나다는 것을 입증했다.
• 앉기-일어나기 및 일어나기-앉기 전환 상황에서도 궤적 전용 모델이 어려운 상황임에도 불구하고 성공적인 로봇 앞서기 제어를 달성했다.
• 재학습 없이도 옆따라가기 및 거리 변동 따라가기와 같은 다양한 행동에 일반화되었으며, 강화학습 기반 LBGP 방법과 달리 각 행동 유형에 맞게 재학습이 필요하지 않았다.
• U자형 궤적 상황에서 인간의 왼쪽 측면에서 로봇이 출발했을 경우 성능 저하가 발생한 유일한 경우였으며, 이는 초기 거리 및 가림 현상의 영향일 가능성이 높다.
• 노이즈가 있는 ZED2 기반 3D 자세 추정 환경에서도 성능 저하가 크게 발생하지 않아, 실세계 센서 노이즈에 대한 강건성을 입증했다.
• 제거 실험 결과, 동시 예측과 공유 어텐션 모듈이 성능 향상에 기여함을 확인하여 설계 선택의 타당성을 검증했다.