[논문 리뷰] Intention Recognition of Pedestrians and Cyclists by 2D Pose Estimation

Zhijie Fang, Antonio M. López|arXiv (Cornell University)|2019. 10. 09.

Autonomous Vehicle Technology and Safety참고 문헌 33인용 수 8

한 줄 요약

이 논문은 단일 이미지에서 심층 학습을 통해 체형 특징을 추출함으로써 보행자와 자전거 운전자의 의도를 인식하는 단일 렌즈 2차원 자세 추정 기반 방법을 제안한다. 특히 보행자의 횡단 의도와 자전거 운전자의 손짓 신호(좌회전, 우회전, 정지 등)를 식별한다. 이 방법은 보행자 횡단 예측을 위한 JAAD 데이터셋과 자전거 손짓 인식을 위한 새로 구축한 CASR 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성하며, 짧은 시간적 맥락만으로도 높은 정확도를 보여준다.

ABSTRACT

Anticipating the intentions of vulnerable road users (VRUs) such as pedestrians and cyclists is critical for performing safe and comfortable driving maneuvers. This is the case for human driving and, thus, should be taken into account by systems providing any level of driving assistance, from advanced driver assistant systems (ADAS) to fully autonomous vehicles (AVs). In this paper, we show how the latest advances on monocular vision-based human pose estimation, i.e. those relying on deep Convolutional Neural Networks (CNNs), enable to recognize the intentions of such VRUs. In the case of cyclists, we assume that they follow traffic rules to indicate future maneuvers with arm signals. In the case of pedestrians, no indications can be assumed. Instead, we hypothesize that the walking pattern of a pedestrian allows to determine if he/she has the intention of crossing the road in the path of the ego-vehicle, so that the ego-vehicle must maneuver accordingly (e.g. slowing down or stopping). In this paper, we show how the same methodology can be used for recognizing pedestrians and cyclists' intentions. For pedestrians, we perform experiments on the JAAD dataset. For cyclists, we did not found an analogous dataset, thus, we created our own one by acquiring and annotating videos which we share with the research community. Overall, the proposed pipeline provides new state-of-the-art results on the intention recognition of VRUs.

연구 동기 및 목표

• 행동을 시작하기 전에 보행자 및 자전거 운전자의 의도를 예측함으로써 자율주행 및 보조 주행의 안전성과 편안함을 햖थन한다.
• 교통 규칙에 따라 의도 인식에 핵심적인 역할을 하는 자전거 운전자의 손짓 신호를 위한 레이블이 부족한 문제를 해결한다.
• 스테레오, 옵티컬 플로우 또는 자체 운동 보정이 필요 없이도 단일 렌즈 이미지에서 추출한 2차원 인간 자세 추정이 신뢰할 만한 의도 인식에 충분한 정보를 제공할 수 있음을 입증한다.
• 연구 목적을 위해 사용할 수 있도록 219개의 레이블이 부여된 자전거 손짓 신호 행동을 포함한 새로운 공개 데이터셋 CASR을 구축하고 배포한다.

제안 방법

• 심층 컬러리널 네트워크(CNN)를 사용하여 단일 RGB 이미지에서 2차원 인간 관절 키포인트 스켈레톤을 추정함으로써 의도 인식의 기초를 마련한다.
• 운동 동역학을 포착하기 위해 1~14 프레임의 시간적 슬라이딩 윈도우를 사용하며, 관절 위치와 시간에 따른 상대 각도/거리에서 특징을 추출한다.
• 관절 각도(예: Θ(4,6,7)) 및 관절 간 거리(예: L(8,7))와 같은 기하학적 특징을 스켈레톤에서 계산하여 자세 구성 상태를 표현한다.
• 이러한 기하학적 특징을 기반으로 랜덤 포레스트(RF) 분류기를 훈련시어 보행자 횡단/비횡단 또는 자전거 운전자의 손짓 신호를 예측한다.
• 이 방법은 보행자 의도 인식을 위한 JAAD 데이터셋과 자전거 손짓 신호를 위한 새로 수집한 CASR 데이터셋에서 평가된다.
• 실제 환경에서의 신뢰성을 평가하기 위해 관절 추정에 20% 및 30%의 노이즈를 주입하여 노이즈에 대한 내성 분석을 수행한다.

실험 결과

연구 질문

• RQ1 단일 렌즈 이미지에서 추출한 2차원 자세 추정이 행동을 시작하기 전에 보행자가 도로를 횡단할 의도가 있는지를 신뢰성 있게 예측할 수 있는가?
• RQ2 제한된 레이블이 부여된 데이터를 바탕으로 동일한 자세 기반 파ip라인으로 자전거 운전자의 손짓 신호(예: 좌회전, 우회전, 정지)를 높은 정확도로 인식할 수 있는가?
• RQ3 2차원 스켈레톤에서 유도된 기하학적 특징은 의도 인식에 어떻게 기여하며, 어떤 특징이 가장 구분력이 있는가?
• RQ4 슬라이딩 윈도우를 통한 시간적 맥락이 보행자 및 자전거 운전자의 인식 성능 향상에 어느 정도 기여하는가?
• RQ5 실제 환경에서의 노이즈가 많은 관절 추정에 대해 이 방법은 얼마나 내성적인가?

주요 결과

• 제안된 방법은 보행자 횡단/비횡단 분류를 위한 JAAD 데이터셋에서 이전의 CNN 기반 및 자세 기반 방법들을 능가하는 최신 기술 수준(SOTA)의 성능을 달성한다.
• 새로 구축한 CASR 데이터셋에서 이 방법은 자전거 운전자의 손짓 신호 분류에 높은 정확도를 보이며, 질적 결과에서는 도전적인 조건에서도 정확한 인식을 보여준다.
• 분류에 가장 관련성이 높은 특징은 팔과 상체에 관련된 관절 각도(예: Θ(4,6,7)) 및 팔과 상체 관절 키포인트 간 거리(예: L(8,7))이며, 이는 자세의 팔 자세가 의도 추론에 핵심적임을 시사한다.
• 자전거 운전자의 의도 인식에서는 현재 프레임(T=1)과 후속 프레임(T=14)의 특징이 모두 중요하며, 신호가 약 200~300ms 동안 지속된 후 안정적인 인식이 이루어진다.
• 관절 추정에 20~30%의 노이즈가 주어져도 성능에 큰 하락이 없이 내성적인 것으로 나타나, 실제 환경에의 구현 가능성은 높다.
• 분류에 가장 중요한 상위 25개 특징는 T=1에서 총 특징 공간의 약 ~2% 및 T=14에서 약 ~0.15%에 불과하며, 이는 정확한 예측을 이끄는 소수의 해석 가능한 기하학적 특징 집합이 있음을 시사한다.