[논문 리뷰] You Mostly Walk Alone: Analyzing Feature Attribution in Trajectory Prediction

Osama Makansi, Julius von Kügelgen외 5명|arXiv (Cornell University)|2021. 10. 11.

Anomaly Detection Techniques and Applications인용 수 13

한 줄 요약

이 논문은 딥러닝 모델에서 과거 궤적 또는 사회적 상호작용과 같은 각 입력 특성이 궤적 예측 성능에 기여하는 정도를 측정하기 위해 셰플리 값 기반 특성 기여도 방법을 제안한다. 표준 벤치마크에서 최신 모델에 적용한 결과, 이러한 모델들은 상호작용 기능이 아니라 목표 에이전트의 과거 궤적에 거의 전적으로 의존하고 있음을 드러내지만, 이는 상호작용 추론을 한다는 주장과 모순된다; 그러나 더 강한 상호작용 역학을 가진 스포츠 데이터셋에서는 모델이 사회적 신호를 효과적으로 활용하고 있음을 확인하였다.

ABSTRACT

Predicting the future trajectory of a moving agent can be easy when the past trajectory continues smoothly but is challenging when complex interactions with other agents are involved. Recent deep learning approaches for trajectory prediction show promising performance and partially attribute this to successful reasoning about agent-agent interactions. However, it remains unclear which features such black-box models actually learn to use for making predictions. This paper proposes a procedure that quantifies the contributions of different cues to model performance based on a variant of Shapley values. Applying this procedure to state-of-the-art trajectory prediction methods on standard benchmark datasets shows that they are, in fact, unable to reason about interactions. Instead, the past trajectory of the target is the only feature used for predicting its future. For a task with richer social interaction patterns, on the other hand, the tested models do pick up such interactions to a certain extent, as quantified by our feature attribution method. We discuss the limits of the proposed method and its links to causality

연구 동기 및 목표

• 최신 궤적 예측 모델이 예측을 위해 실제로 어떤 특성을 사용하는지, 특히 에이전트 간 상호작용의 맥락에서 이해하기 위해.
• 다중 모odal 궤적 예측에서 예측 성능에 대한 특성 기여도를 정량화하기 위한 신뢰할 수 있고 모델에 종속되지 않는 방법을 개발하기 위해.
• 표준 벤치마크 데이터셋에서 모델이 진정으로 사회적 상호작용을 추론하는지, 아니면 단지 과거 궤적에 의존하는지 평가하기 위해.
• 특성 기여도의 인과적 해석 가능성과 궤적 예측에서 그랜저 인과성 원칙과의 일치성을 평가하기 위해.
• 현재 벤치마크의 상호작용 추론 평가 한계를 규명하고, 인과 신호가 강할 경우 모델이 상호작용을 학습할 수 있음을 보여주기 위해.

제안 방법

• 저자들은 궤적 예측 모델에 특화된 셰플리 값의 변형을 제안하여, 모델 성능(예: 음의 로그우도)에 대한 입력 특성의 국소적 및 전역적 기여도를 가능하게 한다.
• 각 특성의 마진널 기여도는 특성의 부분집합에 대한 모델 성능 평균을 통해 계산되며, 상호작용 신호의 영향을 분리하는 데 중점을 둔다.
• 이웃 에이전트의 개별 셰플리 값에서 유도된 사회적 상호작용 점수를 통해 상호작용 정보의 총합 기여도를 정량화한다.
• 이 방법은 표준 벤치마크(ETH-UCY, SDD, nuScenes)와 스포츠 데이터셋(SportVU)에서 최신 모델(Trajectron++, PECNet)에 적용된다.
• 이 방법은 시나리오별로 특성 영향력을 시각화할 수 있게 하여, 상호작용 신호가 언제 그리고 얼마나 강하게 영향을 미치는지 보여준다.
• 다양한 모델 변형과 데이터 분할에 대해 기여도의 안정성을 평가하며, 특성 제거 또는 무작위화에 대한 민감도 분석을 실시한다.

실험 결과

연구 질문

• RQ1 최신 궤적 예측 모델이 목표 에이전트의 과거 궤적 외에 에이전트 간 상호작용에 얼마나 의존하는가?
• RQ2 셰플리 값과 같은 특성 기여도 방법이 모델이 실제로 예측에 사용하는 신호를 신뢰할 만하게 밝힐 수 있는가?
• RQ3 ETH-UCY 및 SDD와 같은 표준 벤치마크에서 훈련된 모델이 논문에서 주장한 바와 같이 진정으로 사회적 상호작용을 추론하는가?
• RQ4 데이터 내 인과적 상호작용 신호의 강도가 모델이 이를 활용하는 데 어떤 영향을 미치는가?
• RQ5 기여도 기반 분석은 그랜저 인과성과 어떻게 관련되어 있으며, 어떤 가정 하에 인과적 해석이 가능할 수 있는가?

주요 결과

• ETH-UCY, SDD, nuScenes와 같은 표준 벤치마크에서 Trajectron++ 및 PECNet과 같은 최신 모델은 상호작용 특성의 기여도가 미미한 바, 거의 전적으로 목표 에이전트의 과거 궤적에 의존하고 있음.
• 셰플리 값에서 유도된 사회적 상호작용 점수는 표준 데이터셋에서 거의 영향이 없음을 보여주며, 이는 아키텍처의 능력에도 불구하고 상호작용 신호를 활용하지 못하고 있음을 시사함.
• 더 풍부하고 일관성 있는 사회적 상호작용을 포함한 SportVU 데이터셋에서는 모델이 이웃 에이전트의 특성 기여도가 비영이 되고 의미 있는 셰플리 값을 보이며 실제로 상호작용 특징을 활용하고 있음.
• 기여도 방법은 상호작용 신호가 활성화된 국소적 이벤트를 성공적으로 식별하고 예측적 관련성을 정량화하여, 모델 행동을 시각화하는 데 유용함을 입증함.
• 본 연구는 인기 있는 벤치마크가 상호작용 추론 평가에 부적절한 이유를 드러내며, 상호작용에서 충분한 인과 신호가 부족하여 모델이 이를 활용하도록 훈련시키기 어려운 점을 규명함.
• 이 방법이 그랜저 인과성 원칙과 일치함에도 불구하고, 작은 셰플리 값은 인과적 영향이 없는 것을 의미하지는 않으며, 오직 모델이 이를 학습하지 못했음을 시사함으로써 핵심적인 모델 한계를 드러냄.