[논문 리뷰] Revisiting 3D Object Detection From an Egocentric Perspective

Boyang Deng, Charles R. Qi외 4명|arXiv (Cornell University)|2021. 12. 14.

Advanced Neural Network Applications인용 수 9

한 줄 요약

이 논문은 자동주행과 같은 자아중심 로보틱스 응용 분야에서 검출 오차가 자동차의 안전성과 운동 계획에 미치는 영향을 측정하기 위해 횡방향 및 종방향 물체 경계선과의 거리 오차를 측정함으로써 자아중심 3D 객체 검출을 평가하는 egocentric 지표인 Support Distance Error(SDE)를 소개한다. 또한 기하학적 정확도를 향상시키기 위해 amodal 별형 윤곽선을 예측하는 경량 모델인 StarPoly를 제안한다. 이는 SDE를 크게 감소시키고 Waymo Open Dataset의 여러 벤치마크에서 박스 기반 검출기들을 능가한다.

ABSTRACT

3D object detection is a key module for safety-critical robotics applications such as autonomous driving. For these applications, we care most about how the detections affect the ego-agent's behavior and safety (the egocentric perspective). Intuitively, we seek more accurate descriptions of object geometry when it's more likely to interfere with the ego-agent's motion trajectory. However, current detection metrics, based on box Intersection-over-Union (IoU), are object-centric and aren't designed to capture the spatio-temporal relationship between objects and the ego-agent. To address this issue, we propose a new egocentric measure to evaluate 3D object detection, namely Support Distance Error (SDE). Our analysis based on SDE reveals that the egocentric detection quality is bounded by the coarse geometry of the bounding boxes. Given the insight that SDE would benefit from more accurate geometry descriptions, we propose to represent objects as amodal contours, specifically amodal star-shaped polygons, and devise a simple model, StarPoly, to predict such contours. Our experiments on the large-scale Waymo Open Dataset show that SDE better reflects the impact of detection quality on the ego-agent's safety compared to IoU; and the estimated contours from StarPoly consistently improve the egocentric detection quality over recent 3D object detectors.

연구 동기 및 목표

• 자기중심 자동주행과 같은 로보틱스 응용 분야에서 표준 IoU 기반 지표가 3D 객체 검출을 평가하는 데에 한계를 보이는 문제를 해결하기 위해.
• 검출된 객체와 자아-에이전트의 계획된 궤적 사이의 시공간적 관계를 반영하는 새로운 평가 지표를 개발하기 위해.
• 특히 자아-에이전트의 경로 근처에서 더 정확한 기하학적 기술을 제공하는 경계 상자 표현을 개선하여 검출 품질을 향상시키기 위해.
• 직접 지도 학습이 필요 없는 경량이며 종단 간(end-to-end) 방법으로 amodal 윤곽선을 예측하여 자아중심 검출 성능을 향상시키기 위해.

제안 방법

• 자기중심 지표로 Support Distance Error(SDE)를 제안하여, 예측된 객체 경계선과 자아-에이전트의 궤적 사이의 횡방향 및 종방향 거리 오차를 측정한다.
• SDE-AP와 SDE-APD를 도입하여 SDE를 표준 평균 정밀도 평가에 통합하고, 거리 가중 점수를 사용해 오차를 집계한다.
• 3D 검출 박스를 입력으로 받아 PointNet 기반 인코더와 고정된 각도 샘플링을 사용해 amodal 별형 다각형 윤곽선을 예측하는 StarPoly라는 신경망을 설계한다.
• 감마(gamma)와 베타(beta) 하이퍼파rameter를 가진 미분 가능 손실 함수를 사용하여 윤곽선 예측을 최적화하고, 지도 학습 없이 종단 간 학습을 가능하게 한다.
• SDE와 SDE-APD를 현재 및 향후 시간 단계의 검출기 평가에 적용하여 장기적 계획 영향을 캡처한다.
• 효율적이고 미분 가능한 기하학적 추정을 가능하게 하기 위해 정사각형 경계선 상에 256개의 균일한 각도 샘플링을 사용해 별형 윤곽선을 표현한다.

실험 결과

연구 질문

• RQ1 표준 IoU 기반 지표는 자아-에이전트의 안전성과 운동 계획에 미치는 검출 오차의 진정한 영향을 어떻게 반영하지 못하는가?
• RQ2 3D 경계 상자 표현의粗잡기 기하학적 특성은 자아-에이전트의 궤적 근처에서 자아중심 검출 품질에 얼마나 큰 제약을 가하는가?
• RQ3 별형 다각형과 같은 amodal 윤곽선 표현은 기존 박스 예측에 비해 자아중심 검출 성능을 크게 향상시킬 수 있는가?
• RQ4 제안된 SDE 지표는 기존 IoU-AP가 감추는 바를 드러내며, 특히 단거리 검출에서 검출기 성능의 차이를 어떻게 드러내는가?
• RQ5 StarPoly와 같은 경량이며 자기지도 학습(self-supervised) 방법은 검출 박스를 효과적으로 개선하여 SDE를 감소시키고 안전 중심 인식을 향상시킬 수 있는가?

주요 결과

• SDE는 경계 상자 기하학의粗잡기 특성이 자아-에이전트의 경로 근처에서 자아중심 검출 품질에 근본적인 제약을 가한다는 것을 드러낸다.
• PointPillars는 전체적인 IoU-AP가 가장 낮지만, [0m, 5m] 범위에서 가장 높은 SDE-AP를 기록하여 기존 지표가 간과한 단거리 성능이 뛰어남을 시사한다.
• StarPoly는 평가된 모든 검출기에서 SDE-APD를 일관되게 향상시키며, 5F-MVF++와 PV-RCNN의 경우 고성능 및 저성능 검출기 간 성능 격차를 3배로 감소시킨다.
• StarPoly는 박스 기반 예측과 볼록 visible 윤곽선(CVC)보다 뛰어나며, CVC 성능은 가려진 영역에서 일반화 능력이 떨어져 시간이 지남에 따라著격히 악화된다.
• SDE-APD 지표는 IoU-AP가 포착하지 못하는 검출기 성능의 차이를 특정적으로 드러내며, 특히 근거리 검출에서의 가치를 입증함으로써 더 구분력 있고 안전 중심의 벤치마크로써의 잠재력을 보여준다.
• 정성적 결과는 StarPoly 윤곽선이 박스나 CVC보다 더 정확한 기하학적 근사치를 제공함을 보여주며, 특히 물체의 모서리와 가려진 측면에서 낮은 SDE 값을 기록한다.