[논문 리뷰] StarNet: Pedestrian Trajectory Prediction using Deep Neural Network in Star Topology

Yanliang Zhu, Deheng Qian외 2명|arXiv (Cornell University)|2019. 06. 05.

Autonomous Vehicle Technology and Safety참고 문헌 25인용 수 28

한 줄 요약

StarNet는 중심 허브 네트워크를 통해 모든 보행자 간의 집단적 상호작용을 모델링하고, 개별 보행자 궤적 예측을 위한 다수의 호스트 네트워크를 사용하는 별형 구조의 딥 네ural 네트워크를 제안한다. 이 설계는 복잡한 비쌍체 상호작용을 선형 계산 복잡도로 효율적으로 포착함으로써 최신 기술 수준의 정확도를 달성하고 기존 방법 대비 3–51배 빠른 추론을 가능하게 한다.

ABSTRACT

Pedestrian trajectory prediction is crucial for many important applications. This problem is a great challenge because of complicated interactions among pedestrians. Previous methods model only the pairwise interactions between pedestrians, which not only oversimplifies the interactions among pedestrians but also is computationally inefficient. In this paper, we propose a novel model StarNet to deal with these issues. StarNet has a star topology which includes a unique hub network and multiple host networks. The hub network takes observed trajectories of all pedestrians to produce a comprehensive description of the interpersonal interactions. Then the host networks, each of which corresponds to one pedestrian, consult the description and predict future trajectories. The star topology gives StarNet two advantages over conventional models. First, StarNet is able to consider the collective influence among all pedestrians in the hub network, making more accurate predictions. Second, StarNet is computationally efficient since the number of host network is linear to the number of pedestrians. Experiments on multiple public datasets demonstrate that StarNet outperforms multiple state-of-the-arts by a large margin in terms of both accuracy and efficiency.

연구 동기 및 목표

• 기존의 보행자 궤적 예측 모델이 쌍체 상호작용만을 모델링하는 데서 비롯하는 한계를 해결하기 위해, 실세계의 집단적 역학을 단순화하지 않고 보다 정확히 모델링하고자 한다.
• 모든 보행자 간의 포괄적인 집단적 상호작용을 포착하여 예측 정확도를 향상시키고자 한다.
• 보행자 수에 비례해 계산 복잡도가 제곱에서 선형으로 감소하도록 상호작용 계산을 최적화하여 계산 효율성을 향상시키고자 한다.
• 다양한 붐비는 환경에서 높은 성능을 유지할 수 있는 확장 가능한 딥 러닝 아키텍처를 개발하고자 한다.
• 기준 데이터셋에서 정확도와 추론 속도 측면에서 기존 최신 기술 수준의 모델들을 초월하는 성능을 입증하고자 한다.

제안 방법

• StarNet는 하나의 중심 허브 네트워크와 각각 한 명의 보행자에 대응하는 다수의 호스트 네트워크로 구성된 별형 구조를 사용한다.
• 허브 네트워크는 모든 보행자의 관측된 궤적을 처리하여 상호작용의 통합된, 종합적인 시공간 표현 r을 생성한다.
• 각 호스트 네트워크는 공유 표현 r을 사용하여 한 명의 보행자 궤적을 예측하며, 이는 맥락 인식 및 상호작용 인식 예측을 가능하게 한다.
• 호스트 네트워크는 어텐션 메커니즘을 포함한 인코더-디코더 아키텍처를 사용하여 관련된 과거 이동 패턴과 상호작용 특징의 중요도를 가중한다.
• 허브 네트워크는 공동 상호작용을 인코딩하기 위해 엔드 투 엔드로 훈련되며, 호스트 네트워크는 r과 개별 궤적에 조건부로 미래 궤적을 예측하기 위해 훈련된다.
• 이 아키텍처는 보행자 수에 비례해 계산 복잡도가 선형으로 증가함을 보장하며, 쌍체 상호작용 모델의 제곱 복잡도와는 대비된다.

실험 결과

연구 질문

• RQ1 모든 보행자 간의 집단적 상호작용을 모델링하는 것이 쌍체 상호작용 모델링보다 더 정확한 궤적 예측을 가능하게 할 수 있는가?
• RQ2 중앙 집중식 허브 네트워크가 계산적으로 효율적인 방식으로 복잡한 다인용 상호작용을 효과적으로 표현할 수 있는가?
• RQ3 별형 구조의 딥 러닝 아키텍처가 기존 최신 기술 수준의 모델 대비 더 높은 정확도와 더 빠른 추론 속도를 동시에 달성할 수 있는가?
• RQ4 다양한 상호작용 패턴을 가진 다양한 붐비는 환경에서 제안된 모델의 견고성은 어떠한가?
• RQ5 실세계 시나리오에서 다중 모달 궤적 분포를 얼마나 잘 다룰 수 있는가?

주요 결과

• StarNet는 ETH 및 UCY 데이터셋 모두에서 평균 이격 오차(ADE)와 최종 이격 오차(FDE)가 가장 낮아, Social LSTM, Social GAN, Social Attention를 모두 능가한다.
• ETH 데이터셋에서 StarNet는 다음으로 우수한 베이스라인인 Social Attention 대비 ADE를 15.2% 감소시키고 FDE를 18.4% 감소시켰다.
• StarNet는 Social Attention 대비 51배 빠르며(0.073초 추론 시간), Social LSTM 대비 7배 빠르며, 파라미터 수는 단 31.9K개 뿐이다.
• 다양한 환경에서 ADE와 FDE의 변동성이 낮아, 환경 특화 상호작용 패턴에 대한 견고성을 보였다.
• 정성적 결과에서는 충돌 회피 및 그룹 이동을 포함한 복잡한 상황에서도 현실적이며 충돌이 없는 궤적을 예측함을 보였다.
• 다중 모달 시나리오에서의 일부 실패(예: 갈림길 경로)가 있었지만, 예측 궤적이 여전히 현실적으로 유지되어 불확실성에 대한 효과적인 모델링을 보였다.