[논문 리뷰] Hindsight is 20/20: Leveraging Past Traversals to Aid 3D Perception

Yurong You, Katie Z Luo외 7명|arXiv (Cornell University)|2022. 03. 22.

Advanced Neural Network Applications인용 수 5

한 줄 요약

이 논문은 동일한 환경의 레이저 레인지 이미징(LiDAR) 이동 기록을 활용하여 3차원 객체 검출 성능을 향상시키는 엔드 투 엔드 학습 가능한 프레임워크인 Hindsight를 제안한다. 과거 데이터를 공간적으로 정렬된 특징 구조인 SQuaSH(Spatial-Quantized Sparse History)로 압축함으로써, 작은, 먼 거리에 있는, 또는 가림을 받은 객체의 검출을 향상시킨다. 이 방법은 추가적인 감독 없이도 실제 데이터셋에서 도전적인 케이스에서 평균 정밀도를 300퍼센트 이상 향상시키며, 성능 향상이 이루어진다.

ABSTRACT

Self-driving cars must detect vehicles, pedestrians, and other traffic participants accurately to operate safely. Small, far-away, or highly occluded objects are particularly challenging because there is limited information in the LiDAR point clouds for detecting them. To address this challenge, we leverage valuable information from the past: in particular, data collected in past traversals of the same scene. We posit that these past data, which are typically discarded, provide rich contextual information for disambiguating the above-mentioned challenging cases. To this end, we propose a novel, end-to-end trainable Hindsight framework to extract this contextual information from past traversals and store it in an easy-to-query data structure, which can then be leveraged to aid future 3D object detection of the same scene. We show that this framework is compatible with most modern 3D detection architectures and can substantially improve their average precision on multiple autonomous driving datasets, most notably by more than 300% on the challenging cases.

연구 동기 및 목표

• 작은, 먼 거리에 있거나 매우 가려진 3차원 객체를 LiDAR 포인트 클라우드에서 탐지하는 데 어려움을 해결하기 위해.
• 동일한 환경의 레이블이 없는 과거 이동 기록이 3차원 인식 성능 향상에 유용한 맥락 정보를 제공할 수 있는지 탐색하기 위해.
• 기존의 추가 애너테이션 또는 재학습 없이도 과거 장면 데이터를 현대적 3차원 검출기와 통합할 수 있는 방법을 개발하기 위해.
• 더 많은 이동 기록이 수집될수록 성능이 지속적으로 향상되도록 하기 위해.
• 기존 3차원 검출 파이프라인과 호환되는 확장성 있고 효율적이며 프라이버시를 보호하는 프레임워크를 구축하기 위해.

제안 방법

• 신경망을 사용하여 동일한 장면의 다수의 과거 LiDAR 스캔에서 SQuaSH(Spatial-Quantized Sparse History)라 불리는 희소하고 지오레퍼런스된 표현을 구성한다.
• SQuaSH는 객체 지속성, 공통 경로, 배경 구조 등의 맥락 정보를 인코딩한다.
• 추론 도중, 현재 LiDAR 스캔이 SQuaSH에서 각 포인트 주변의 국소 맥락을 질의하여 검출기의 보조 특징으로 추가한다.
• SQuaSH 특징 추출 및 3차원 검출기 전체 파이프라인은 추가적인 감독 없이 검출 애너테이션만을 사용해 엔드 투 엔드로 학습된다.
• SQuaSH 표현은 사전에 오프라인으로 계산되며, 낮은 지연 시간으로 온라인 질의가 가능하여 실시간 추론을 가능하게 한다.
• 이 프레임워크는 다양한 최첨단 3차원 검출기와 호환되며, 새로운 이동 기록이 수집될수록 점진적으로 업데이트될 수 있다.

실험 결과

연구 질문

• RQ1 동일한 장면의 과거 레이블이 없는 LiDAR 이동 기록이 3차원 객체 검출 성능 향상에 의미 있는 맥락 정보를 제공할 수 있는가?
• RQ2 실시간 사용을 위해 과거 장면 데이터를 효율적으로 압축하고 질의 가능한 표현으로 통합할 수 있는가?
• RQ3 검출 레이블만을 사용한 공동 학습 기반으로도 작은 객체나 먼 거리의 객체와 같은 어려운 케이스에서 검출 성능을 향상시킬 수 있는가?
• RQ4 이 방법은 다양한 3차원 검출 아키텍처와 실제 데이터셋에 대해 일반화 가능한가?
• RQ5 더 많은 이동 기록이 수집될수록 성능 향상이 어떻게 이루어지는가?

주요 결과

• Hindsight는 두 개의 대규모 실생활 데이터셋에서 도전적인 케이스—작은, 먼 거리에 있는, 또는 매우 가려진 객체—에 대해 평균 정밀도가 300퍼센트 이상 향상되는 상대적 성능 향상을 달성한다.
• 이 방법은 PointRCNN, PointPillars, CenterPoint, PV-RCNN를 포함한 네 가지 다른 최첨단 3차원 객체 검출기에서 일관되게 검출 성능을 향상시킨다.
• 특히 먼 거리의 보행자나 작은 자전거 기사에 대해 잡음 감소(false positive)가 크게 감소하면서 재현율(recall)은 유지 또는 향상된다.
• SQuaSH 표현은 더 많은 이동 기록이 추가될수록 재학습 없이도 지속적인 성능 향상을 가능하게 한다.
• 프레임워크는 낮은 추론 지연 시간을 유지하며, 기존 3차원 검출 파이프라인과 호환되어 즉시 통합이 가능하다.
• 이 방법은 환경 변화에 대해 강건하며, 현재 스캔이 희소하거나 모호할 경우에도 의미 있는 맥락 정보를 제공한다.