[논문 리뷰] LaneRCNN: Distributed Representations for Graph-Centric Motion Forecasting

Wenyuan Zeng, Ming Liang외 2명|arXiv (Cornell University)|2021. 01. 17.

Autonomous Vehicle Technology and Safety인용 수 11

한 줄 요약

LaneRCNN는 지역 지도 구조와 과거 궤적을 인코딩하기 위해 액터별로 고유한 LaneRoI 표현을 사용하는 그래프 중심의 운동 예측 모델을 제안한다. 이는 전역적인 도로 그래프를 통해 지도 인식 기반의 분산 상호작용 모델링을 가능하게 하며, Argoverse 벤치마크에서 최신 기술 수준을 확보하여 랭킹 1위를 기록한다. 이전 방법들에 비해 뚜렷한 성능 향상을 보였다.

ABSTRACT

Forecasting the future behaviors of dynamic actors is an important task in many robotics applications such as self-driving. It is extremely challenging as actors have latent intentions and their trajectories are governed by complex interactions between the other actors, themselves, and the maps. In this paper, we propose LaneRCNN, a graph-centric motion forecasting model. Importantly, relying on a specially designed graph encoder, we learn a local lane graph representation per actor (LaneRoI) to encode its past motions and the local map topology. We further develop an interaction module which permits efficient message passing among local graph representations within a shared global lane graph. Moreover, we parameterize the output trajectories based on lane graphs, a more amenable prediction parameterization. Our LaneRCNN captures the actor-to-actor and the actor-to-map relations in a distributed and map-aware manner. We demonstrate the effectiveness of our approach on the large-scale Argoverse Motion Forecasting Benchmark. We achieve the 1st place on the leaderboard and significantly outperform previous best results.

연구 동기 및 목표

• 운동 예측에서 단일 벡터 인코딩의 한계를 해결하기 위해, 공간적 구조와 지도의 구조를 유지하지 못하는 문제를 해결한다.
• 완전히 연결된 상호작용 그래프에서의 단순화된 가정을 피하기 위해, 지도 인식 기반의 방식으로 액터 간 상호작용을 모델링한다.
• 출력 파rameterization에 도로 구조를 인덕티브 바이어스로 활용하여 궤적 예측 정확도를 향상시킨다.
• 지역화된 도로 그래프 영역(LaneRoI)을 통해 액터의 맥락을 더 표현력 있고 분산된 방식으로 표현할 수 있도록 한다.

제안 방법

• 모델은 관련 도로의 노드를 임bedding하여 각 액터별로 LaneRoI를 구성하며, 각 노드는 국소적 운동과 지도 의미를 인코딩한다.
• 전용 인코더가 각 LaneRoI를 처리하여 노드 수준의 임베딩을 생성하며, 세밀한 공간적 및 위상 정보를 유지한다.
• 액터 표현은 공유된 전역 도로 그래프로 투영되어, 겹치거나 상호작용하는 LaneRoI 영역 간 효율적인 메시지 전달을 가능하게 한다.
• 상호작용 모듈은 학습 가능한 그래프 연산자를 사용하여 LaneRoI 노드 간 정보를 전파하며, 액터의 과거 궤적을 따라 특징을 풀링하는 스킵 커넥션 메커니즘이 도입되어 수신 영역이 향상된다.
• 미래 궤적은 LaneRoI의 노드를 앵커로 사용하여 완전 컨볼루션 방식으로 예측되며, 출력 파rameterization은 도로 구조에 기반한다.
• 디코딩 헤드는 도로 그래프 상의 예측된 위치에서 회귀하여 전체 궤적을 생성하며, 지도 일관성을 보장한다.

Figure 1 : Popular motion forecasting methods encode actor and its context information into a feature vector, and treat it as a node in an interaction graph. In contrast, we propose a graph-based representation LaneRoI per actor, which is structured and expressive. Based on it, we model interactions

실험 결과

연구 질문

• RQ1 분산형 그래프 기반의 액터 맥락 표현은 단일 벡터 인코딩을 초월하여 운동 예측 성능을 향상시킬 수 있는가?
• RQ2 공유된 전역 도로 그래프를 통한 지도 인식 기반 상호작용 모델링은 완전히 연결된 그래프에 비해 예측 정확도를 어떻게 향상시키는가?
• RQ3 미래 궤적의 파arameterization으로 도로 그래프를 사용할 경우, 비현실적이거나 도로 외부로 벗어나는 예측을 얼마나 줄일 수 있는가?
• RQ4 궤적 인식 기반 스킵 커넥션 메커니즘은 특징 전파와 모델 성능에 어떤 영향을 미치는가?

주요 결과

• LaneRCNN는 Argoverse 운동 예측 랭킹에서 1위를 기록하여 이전 최신 기술 수준의 방법들에 비해 뚜렷한 성능 향상을 보였다.
• 곡선 도로, 교차로, 장애물 회피와 같은 복잡한 시나리오에서도 뛰어난 일반화 성능을 보이며, 정확한 다중 모달 예측을 제공했다.
• 액터의 과거 궤적을 따라 특징을 풀링하는 제안된 스킵 커넥션 메커니즘이 전역 평균 풀링이나 중심 기반 풀링에 비해 상당한 성능 향상을 이끌었다.
• 제거 분석 결과, 공유된 전역 도로 그래프를 통한 지도 인식 기반 상호작용은, 용량이 동일한 경우에도 완전히 연결된 GNN이나 어텐션 메커니즘을 능가하는 성능을 보였다.
• 정성적 결과는 LaneRCNN가 지도 일관성을 갖춘 궤적을 생성함을 확인하였으며, 회전 및 차선 변경 시 적절한 속도를 반영했다.
• 이 방법은 양보, 추월, 교차로 근처에서의 속도 조절과 같은 현실적인 행동을 효과적으로 포착했다.

Figure 2 : Overview of LaneRCNN. It first encodes each actor with our proposed LaneRoI representation, processes each LaneRoI with an encoder, and then models interactions among actors with a graph-based interactor. Finally, LaneRCNN predicts final positions of actors in a fully-convolutional manner