[논문 리뷰] FISHING Net: Future Inference of Semantic Heatmaps In Grids

Noureldin Hendy, Cooper Stokes Sloan외 6명|arXiv (Cornell University)|2020. 06. 17.

Distributed and Parallel Computing Systems참고 문헌 17인용 수 51

한 줄 요약

이 논문은 LiDAR, 레이더 및 카메라 데이터를 기반으로 현재 및 근접 미래의 상향식 시맨틱 그리드를 예측하는 엔드-투-엔드 다중 모달 프레임워크를 제시하며, 통합 크로스-모달 인식 및 단기 예측을 가능하게 한다.

ABSTRACT

For autonomous robots to navigate a complex environment, it is crucial to understand the surrounding scene both geometrically and semantically. Modern autonomous robots employ multiple sets of sensors, including lidars, radars, and cameras. Managing the different reference frames and characteristics of the sensors, and merging their observations into a single representation complicates perception. Choosing a single unified representation for all sensors simplifies the task of perception and fusion. In this work, we present an end-to-end pipeline that performs semantic segmentation and short term prediction using a top-down representation. Our approach consists of an ensemble of neural networks which take in sensor data from different sensor modalities and transform them into a single common top-down semantic grid representation. We find this representation favorable as it is agnostic to sensor-specific reference frames and captures both the semantic and geometric information for the surrounding scene. Because the modalities share a single output representation, they can be easily aggregated to produce a fused output. In this work we predict short-term semantic grids but the framework can be extended to other tasks. This approach offers a simple, extensible, end-to-end approach for multi-modal perception and prediction.

연구 동기 및 목표

• 다중 센서 관측을 하나의 센서에 구애받지 않는 상향식 시맨틱 그리드 표현으로 통합한다.
• 하나의 엔드-투-엔드 파이프라인에서 동시 인식과 단기 예측을 가능하게 한다.
• 다중 모달 시맨틱 그리드 출력에 대한 서로 다른 융합 전략의 이점을 평가한다.
• 다양한 센서 모달리티와 기준 프레임에 대한 프레임워크의 확장 가능성을 보여준다.

제안 방법

• 각 센서에 대해 모달리티별 인코더-디코더 네트워크의 앙상블이 일련의 상향식 시맨틱 그리드를 출력한다.
• 비전은 인코더와 디코더 간에 픽셀-스페이스에서 상향식으로 학습된 직교 특징 변환을 사용한다.
• LiDAR와 레이더는 U-Net 유사한 인코더-디코더를 사용하여 그리드를 예측한다.
• 여러 카메라의 비전 특징은 학습된 직교 변환이 있는 공유 인코더 이후 융합된다.
• 다중 모달 융합은 모달리티 간 소프트맥스 출력들을 평균 풀링 또는 우선순위 기반 풀로 집계한다.

실험 결과

연구 질문

• RQ1 다중 센서 모달리티(LiDAR, 레이더, 카메라)가 공통의 상향식 시맨틱 그리드 표현으로 매핑될 수 있는가?
• RQ2 현재 및 근미래의 시맨틱 그리드의 엔드-투-엔드 융합이 자율 주행을 위한 인식 및 단기 예측을 개선하는가?
• RQ3 다른 융합 전략(평균 vs. 우선순위 풀)이 모달리티 간 인식 정확도에 어떤 영향을 미치는가?
• RQ4 출력 그리드 표현을 바꾸지 않고 추가 모달리티 및 기준 프레임으로의 확장이 가능한가?
• RQ5 오픈 데이터셋(NuScenes, Lyft)과 목적-built 데이터셋에서의 프레임워크의 비교 성능은 어떠한가?

주요 결과

• 이 프레임워크는 VRU, 차량, 배경의 세 클래스로 단기 미래 시맨틱 그리드(최대 2초)를 예측할 수 있다.
• NuScenes 및 Lyft 데이터셋에서 LiDAR가 현재 및 근미래 그리드에 대해 비전보다 일반적으로 더 높은 정밀도와 재현율을 보인다.
• 비전 기반 상향식 예측은 가능하지만 단일 카메라 단서로부터의 깊이 및 자기동시추정(ego-motion)으로 인해 더 도전적이다.
• 평균 풀링은 일반적으로 더 높은 정밀도를, 우선순위 풀링은 더 높은 재현율을 데이터셋 전반에서 보인다.
• 레이더는 보완적인 깊이/운동학 정보를 제공하며 포함된 목적형 데이터셋에서 성능을 향상시킨다.
• 이 방법은 더 크고 풍부한 데이터셋으로 확장되며 모달리티가 더 많을수록 더 나은 성능을 보인다(보고된 결과에서 Lidar > Radar > Vision).