[논문 리뷰] Remember Intentions: Retrospective-Memory-based Trajectory Prediction

Chenxin Xu, Weibo Mao외 2명|arXiv (Cornell University)|2022. 03. 22.

Anomaly Detection Techniques and Applications인용 수 9

한 줄 요약

이 논문은 인간의 후행 기억에 영감을 받은 MemoNet을 제안한다. 이 모델은 과거-미래 경로 쌍을 메모리 백에 저장하고, 학습 가능한 메모리 주소기(주소 지정기)를 사용해 의미적으로 유사한 과거 인스턴스를 검색하여 의도 예측을 수행한다. 이 방법은 SDD, ETH-UCY, NBA 데이터셋에서 각각 FDE를 20.3%, 10.2%, 28.3% 향상시켰으며, 추론 중에 해석 가능한 인스턴스 수준의 검색을 가능하게 한다.

ABSTRACT

To realize trajectory prediction, most previous methods adopt the parameter-based approach, which encodes all the seen past-future instance pairs into model parameters. However, in this way, the model parameters come from all seen instances, which means a huge amount of irrelevant seen instances might also involve in predicting the current situation, disturbing the performance. To provide a more explicit link between the current situation and the seen instances, we imitate the mechanism of retrospective memory in neuropsychology and propose MemoNet, an instance-based approach that predicts the movement intentions of agents by looking for similar scenarios in the training data. In MemoNet, we design a pair of memory banks to explicitly store representative instances in the training set, acting as prefrontal cortex in the neural system, and a trainable memory addresser to adaptively search a current situation with similar instances in the memory bank, acting like basal ganglia. During prediction, MemoNet recalls previous memory by using the memory addresser to index related instances in the memory bank. We further propose a two-step trajectory prediction system, where the first step is to leverage MemoNet to predict the destination and the second step is to fulfill the whole trajectory according to the predicted destinations. Experiments show that the proposed MemoNet improves the FDE by 20.3%/10.2%/28.3% from the previous best method on SDD/ETH-UCY/NBA datasets. Experiments also show that our MemoNet has the ability to trace back to specific instances during prediction, promoting more interpretability.

연구 동기 및 목표

• 매개변수 기반 경로 예측 모델에서 관련 없는 학습 인스턴스로 인한 해석 가능성 부족과 성능 저하 문제를 해결하기 위해.
• 추론 중에 유사한 과거 시나리오를 명시적이고 인스턴스 수준에서 검색할 수 있도록 하여 예측 정확도와 해석 가능성을 향상시키기 위해.
• 인간의 후행 기억을 모방하는 메모리 증강 아키텍처를 개발하여 현재 상황을 저장된 과거 경험과 연결하기 위해.

제안 방법

• 두 개의 인코더를 사용하여 호환 가능한 과거 및 의도 메모리 백을 초기화하기 위한 복합 재구성 기반 특징 학습 아키텍처를 제안한다.
• 학습이 필요 없고 순열에 불변인 메모리 필터를 도입하여 메모리 백에서 중복된 인스턴스를 제거함으로써 효율성과 강건성을 향상시킨다.
• 유사도 점수를 계산하고 현재 예측에 가장 관련성이 높은 과거 인스턴스를 검색하기 위해 학습 가능한 어텐션 기반 메모리 주소기를 설계한다.
• 낮은 빈도의 행동에 대한 예측 다양성을 향상시키고 높은 빈도의 행동에 대한 강건성을 향상시키기 위해 의도 클러스터링 메커니즘을 도입한다.
• 두 단계 경로 예측 시스템을 구축한다: 먼저 MemoNet을 통해 목적지(의도)를 예측하고, 그 다음에 예측된 의도에서 전체 경로를 생성한다.
• 메모리 주소기 학습을 감독하기 위해 의사 레이블 생성을 사용하여 주소기가 가장 유사한 인스턴스를 검색하도록 학습시키도록 보장한다.

Figure 1 : MemoNet mimics retrospective memory process. We use the memory bank to explicitly store representative instances, acting like prefrontal cortex; and the memory addresser to search similar memory instances with current situation, acting like basal ganglia.

실험 결과

연구 질문

• RQ1 명시적인 메모리 검색을 갖는 인스턴스 기반 접근 방식이 매개변수 기반 모델보다 경로 예측에서 우월한 성능을 낼 수 있는가?
• RQ2 신경과학에서의 후행 기억 메커니즘을 딥 러닝에서 효과적으로 모방하여 경로 예측에 적용할 수 있는가?
• RQ3 메모리 필터링과 클러스터링이 경로 예측의 다양성과 강건성에 어느 정도 기여하는가?
• RQ4 모델이 추론 중 특정 과거 인스턴스로 거슬러 올라가며 설명 가능한 예측을 제공할 수 있는가?
• RQ5 粗안의 의도 앵커 수와 메모리 필터링 임계값의 수가 모델 성능에 어떤 영향을 미치는가?

주요 결과

• SDD 데이터셋에서 이전 최고 성능 모델 대비 FDE가 20.3% 상대적으로 향상되었다.
• ETH-UCY 데이터셋에서는 이전 최고 성능 모델 대비 FDE가 10.2% 감소하였다.
• NBA 데이터셋에서는 FDE가 28.3% 상대적으로 향상되어 다양한 도메인에 걸친 강력한 일반화 능력을 보였다.
• 절단 실험 결과, 메모리 백, 필터링, 주소기, 클러스터링 등 모든 구성 요소가 성능 향상에 기여하는 것으로 확인되었다.
• 단일 RTX 3090 GPU에서 실시간 추론 속도가 55.5 FPS를 기록하여 실세계 적용에 적합하다.
• 시각화 결과, 모델이 특정 의미적으로 관련성이 높은 과거 인스턴스로 거슬러 내려가며 해석 가능성을 향상시킬 수 있음을 확인하였다.

Figure 2 : Inference phase of MemoNet. The red agent is to-be-predicted and the blue/orange agents are neighbours. According to the past feature obtained by the social encoder, we address related memory instances in the past memory bank through an attention network, producing similarity scores. The