[논문 리뷰] IntFormer: Predicting pedestrian intention with the aid of the Transformer architecture

Javier Lorenzo, I. Parra외 1명|arXiv (Cornell University)|2021. 05. 18.

Autonomous Vehicle Technology and Safety참고 문헌 17인용 수 15

한 줄 요약

IntFormer는 비디오 특징 인코딩을 위해 Transformer 기반 아키텍처와 RubiksNet을 융합한 경량이며 실시간 동작 가능한 보행자 의도 예측 모델을 제안한다. PIE 벤치마크에서 SOTA 성능(AUC: 0.823)을 달성하며, 이전 방법 대비 모델 크기가 8배 작고 학습 속도가 96% 빠르다. 이는 자동차의 자동차 속도가 가장 예측력 있는 입력 특징임을 시사한다.

ABSTRACT

Understanding pedestrian crossing behavior is an essential goal in intelligent vehicle development, leading to an improvement in their security and traffic flow. In this paper, we developed a method called IntFormer. It is based on transformer architecture and a novel convolutional video classification model called RubiksNet. Following the evaluation procedure in a recent benchmark, we show that our model reaches state-of-the-art results with good performance ($\approx 40$ seq. per second) and size ($8 imes $smaller than the best performing model), making it suitable for real-time usage. We also explore each of the input features, finding that ego-vehicle speed is the most important variable, possibly due to the similarity in crossing cases in PIE dataset.

연구 동기 및 목표

• 도시 자율 주행 환경에서 실시간으로 효율적인 보행자 의도 예측 모델을 개발하기 위해.
• 기존 SOTA 모델인 PCPA와 비교해 성능을 향상시키고 계산 비용을 감소시키기 위해.
• 자기 차량 속도, 바운딩 박스 좌표, 자세 키포인트, 이미지 쪽 등 다양한 입력 특징들이 예측 정확도에 미치는 상대적 중요도를 조사하기 위해.
• 새로운 최적화 기법과 모델 크기 감소를 통해 학습 효율성을 최적화하기 위해.
• 지능형 차량에 구현 가능한 견고하고 일반화 능력이 뛰어난 솔루션을 제공하기 위해.

제안 방법

• IntFormer는 이미지 기반 특징(예: 자르기된 바운딩 박스)을 인코딩하기 위해 RubiksNet을 사용하고, 비이미지 순차적 데이터(예: 자기 차량 속도, 바운딩 박스 좌표, 자세 키포인트)를 인코딩하기 위해 Transformer 인코더를 조합한 하이브리드 아키텍처를 채택한다.
• 모델은 16프레임(30fps 기준)의 입력 시퀀스를 처리하여 1~2초 이내의 시간 범위(TTE) 내 보행자 횡단 의도를 예측한다.
• 별도의 인코딩 후 특징 융합을 수행함으로써 공간적(이미지) 및 시간적(비이미지) 신호를 효과적으로 통합할 수 있다.
• 고급 최적화 기법을 적용한 새로운 학습 스케줄 덕분에 PIE 기준 학습 시간이 PCPA 대비 8시간에서 13분 이내로 감소했다.
• 모델 평가에 공식 벤치마크 [6]가 사용되었으며, 이는 PIE 및 JAAD 데이터셋 모두에서 평가를 표준화한다.
• 입력 특징을 체계적으로 제거하여 각 특징의 개별 및 병합 기여도를 평가한다.

실험 결과

연구 질문

• RQ1 PCPA와 같은 기존 SOTA 모델과 비교해 IntFormer 모델은 PIE 및 JAAD 벤치마크에서 성능과 효율성 측면에서 어떻게 비교되는가?
• RQ2 자기 차량 속도, 바운딩 박스 좌표, 자세 키포인트, 이미지 쪽 중 어떤 입력 특징이 보행자 횡단 의도에 가장 예측력 있는가?
• RQ3 이미지 특징과 비이미지 특징을 융합할 경우 예측 정확도가 얼마나 향상되며, 어떤 조합이 최적의 성능을 낼 수 있는가?
• RQ4 더 작은 크기와 더 빠른 속도를 가진 모델이 실시간 차량에 구현 가능한 조건에서 SOTA 성능을 달성할 수 있는가?
• RQ5 자기 차량 속도가 가장 영향력 있는 단일 특징으로 부상하는 이유는 무엇이며, 이는 PIE 데이터셋 내 보행자 행동 패턴에 대해 어떤 시사점을 갖는가?

주요 결과

• IntFormer는 PIE 벤치마크에서 AUC 0.823을 기록하며 SOTA 성능을 달성했으며, PCPA 및 기타 베이스라인을 초월한다.
• 가장 성능이 뛰어난 모델(PCPA) 대비 8배 작고, 학습 시간이 13분 이내로 감소하여 PCPA 대비 96% 감소했다.
• 자기 차량 속도만으로도 가장 높은 개별 성능(AUC: 0.817)을 기록했으며, 이는 속도 변화와 보행자 횡단 행동 간 강한 상관관계를 시사한다.
• 바운딩 박스 좌표와 자기 차량 속도를 함께 사용할 경우 최고의 병합 성능를 기록했으며, 이는 저차원 운동 신호가 매우 유용하다는 것을 시사한다.
• 자세 키포인트 특징만으로는 랜덤 추측 수준(AUC: 0.500) 이하의 성능를 보였으며, 이는 사전 계산된 검출 오차와 가림 현상으로 인한 것으로 보인다.
• 이미지 쪽(바운딩 박스 이미지)은 비이미지 특징과 융합될 경우 성능 향상에 기여했으며, 이는 맥락적 시각 정보의 가치를 입증한다.