[논문 리뷰] A Step Towards Efficient Evaluation of Complex Perception Tasks in Simulation

Jonathan Sadeghi, Blaine Rogers외 5명|arXiv (Cornell University)|2021. 09. 28.

Adversarial Robustness in Machine Learning인용 수 6

한 줄 요약

이 논문은 복잡한 인식 작업의 대규모 시뮬레이션 평가를 효율적으로 가능하게 하기 위해, LiDAR 검출기와 같은 계산 비용이 큰 딥러닝 모델을 대체할 수 있는 경량이고 저해상도의 서rogate 모델을 제안한다. 이 방법은 Carla 시뮬레이터에서 PIXOR 및 CenterPoint 검출기를 사용하여 검증된 결과, 원본 모델과 유사한 검출 정밀도, 재현율 및 충돌 시점 등의 주요 지표를 유지하면서도 계산 시간을 20배 감소시켰다.

ABSTRACT

There has been increasing interest in characterising the error behaviour of systems which contain deep learning models before deploying them into any safety-critical scenario. However, characterising such behaviour usually requires large-scale testing of the model that can be extremely computationally expensive for complex real-world tasks. For example, tasks involving compute intensive object detectors as one of their components. In this work, we propose an approach that enables efficient large-scale testing using simplified low-fidelity simulators and without the computational cost of executing expensive deep learning models. Our approach relies on designing an efficient surrogate model corresponding to the compute intensive components of the task under test. We demonstrate the efficacy of our methodology by evaluating the performance of an autonomous driving task in the Carla simulator with reduced computational expense by training efficient surrogate models for PIXOR and CenterPoint LiDAR detectors, whilst demonstrating that the accuracy of the simulation is maintained.

연구 동기 및 목표

• 자율주행과 같은 안전이 중요한 애플리케이션에서 딥러닝 기반 인식 시스템의 대규모 테스트에 따른 높은 계산 비용을 해결하기 위해.
• 계산 비용이 큰 검출기로부터 유입되는 입력을 효율적으로 시뮬레이션하여, 후속 작업(예: 경로 계획)의 실패 모드를 광범위하게 분석할 수 있도록 하기 위해.
• 고해상도 센서 입력을 저차원의 핵심 변수로 대체하면서도 원본 검출기의 행동을 유지하는 서rogate 모델링 프레임워크를 개발하기 위해.
• 다양한 시뮬레이션 조건에서 서rogate 모델이 원본 검출기의 출력과 높은 유사도를 유지할 수 있음을 입증하여 확장 가능한 테스트를 가능하게 하기 위해.
• 시뮬레이션 기반 검증 과정에서 전체 딥러닝 모델의 고비용 추론에 의존하지 않으면서도 테스트 커버리지나 정확도를 손상시키지 않기 위해.

제안 방법

• 고해상도 시뮬레이터와 계산 비용이 큰 백본 검출기를 저해상도 시뮬레이터와 원본 검출기의 출력을 모방하도록 훈련된 경량 서rogate 모델로 대체한다.
• 원시 센서 데이터 대신 객체의 위치, 방향, 가림 정도, 조명 수준 및 클래스 정보와 같은 핵심 변수를 서rogate 모델의 입력으로 사용한다.
• 시뮬레이션 환경과 해당 검출기의 진짜 검출 결과를 포함한 데이터셋을 사용하여 서rogate 모델을 훈련시켜 원본 검출기(예: CenterPoint 또는 PIXOR)의 출력을 근사하도록 한다.
• 서rogate 모델을 시뮬레이션 파이프라인에 통합하여, 원본 검출기와 동일한 방식으로 후속 작업(예: 경로 계획)에 입력되도록 한다.
• 특히 에고 차량으로부터 거리가 다른 차량의 클래스 불균형을 보완하기 위해 계층적 샘플링을 사용하여 훈련한다.
• 정밀도, 재현율, 궤적 유사도, 충돌까지의 시간 등의 지표를 사용하여 서rogate 모델을 원본 검출기 및 진짜 결과와 비교 평가한다.

실험 결과

연구 질문

• RQ1 경량 서rogate 모델이 시뮬레이션 환경에서 CenterPoint나 PIXOR와 같은 복잡한 LiDAR 검출기의 검출 행동을 정확하게 재현할 수 있는가?
• RQ2 서rogate 모델은 실패 모드 탐지의 정밀도를 유지하면서도 얼마나 많은 계산 비용을 줄일 수 있는가?
• RQ3 서rogate 모델은 자율주행 시뮬레이션에서 충돌 간격과 경로 완료와 같은 핵심 지표를 얼마나 잘 재현하는가?
• RQ4 고해상도 시뮬레이션에 비해 정확도 손실이 크지 않게, 저차원의 핵심 변수로만 훈련된 서rogate 모델이 효과적으로 작동할 수 있는가?
• RQ5 서rogate 모델 설계는 후속 작업(예: 경로 계획)의 행동에 현실감을 얼마나 유지하는가?

주요 결과

• 서rogate 모델(NS)은 Carla 시뮬레이터에서 원본 CenterPoint 검출기와 비교해 계산 시간을 20배 감소시켰다.
• NS는 설계상 참성향 오류를 방지함으로써 테스트 세트에서 100%의 정밀도를 확보했다.
• 특히 짧은 거리에 있는 객체에 대해 재현율과 궤적 유사도 측면에서 원본 검출기와 유사한 성능을 보였다.
• NS의 충돌 간격 누적분포는 진짜 결과보다 원본 검출기와 훨씬 유사했으며, 이는 실패 역학을 정확히 포착했음을 시사한다.
• 일부 시나리오에서는 NS가 진짜 결과보다 경로 완료율과 중앙값 충돌 간격에서 뛰어난 성능을 보였는데, 이는 참성향 오류가 없었기 때문일 것이다.
• qualitative 예시(부록 H 참조)를 통해 서rogate 모델이 알려진 LiDAR 검출기 오류 패atters를 성공적으로 재현했다.