[논문 리뷰] Evaluation Metrics for Object Detection for Autonomous Systems

Apurva Badithela, Tichakorn Wongpiromsarn외 1명|arXiv (Cornell University)|2022. 10. 19.

Formal Methods in Verification인용 수 6

한 줄 요약

이 논문은 자율주행 시스템에서 객체 검출을 평가하기 위해 거리 파rameter화된 문장 레이블링 및 클래스 레이블링 혼동 행렬이라는 두 가지 새로운 평가 지표를 제안한다. 선형 시간 논리(LTL)를 통한 형식적 검증과 통합함으로써, 이 프레임워크는 시스템 수준의 안전성 만족 확률을 정량화하며, 거리 인지 기반 및 문장 기반 지표가 전통적 접근 방식보다 유의미하게 높은 안전성 만족 확률을 제공함을 입증한다. 특히 저속 주행 조건에서 그러한 성능 향상이 두드러진다.

ABSTRACT

This paper studies the evaluation of learning-based object detection models in conjunction with model-checking of formal specifications defined on an abstract model of an autonomous system and its environment. In particular, we define two metrics -- \emph{proposition-labeled} and \emph{class-labeled} confusion matrices -- for evaluating object detection, and we incorporate these metrics to compute the satisfaction probability of system-level safety requirements. While confusion matrices have been effective for comparative evaluation of classification and object detection models, our framework fills two key gaps. First, we relate the performance of object detection to formal requirements defined over downstream high-level planning tasks. In particular, we provide empirical results that show that the choice of a good object detection algorithm, with respect to formal requirements on the overall system, significantly depends on the downstream planning and control design. Secondly, unlike the traditional confusion matrix, our metrics account for variations in performance with respect to the distance between the ego and the object being detected. We demonstrate this framework on a car-pedestrian example by computing the satisfaction probabilities for safety requirements formalized in Linear Temporal Logic (LTL).

연구 동기 및 목표

• 고립된 정확도 지표가 아닌, 후속 시스템 수준의 안전성 요구사항에 기반한 객체 검출 모델 평가의 격차를 해소하기 위해.
• 기존 혼동 행렬이 忽시하는 바와 같이, 객체 거리가 검출 성능에 미치는 영향을 고려하기 위해.
• 감지 성능과 선형 시간 논리(LTL)로 표현된 고수준 안전성 성질 간의 형식적 프레임워크를 구축하기 위해.
• 계획 및 제어 설계에 따라 객체 검출 모델의 선택이 시스템 수준의 안전성 만족도에 어떻게 영향을 미치는지 실증적으로 입증하기 위해.
• 감지, 계획, 형식적 검증을 통합한 정량적이고 시스템 수준의 안전성 평가 방법을 제공하기 위해.

제안 방법

• 에고-객체 간 거리에 따라 검출 성능의 변동을 캡처하기 위해 거리 파arameter화된 클래스 레이블링 혼동 행렬을 제안한다.
• 객체 클래스의 논리적 조합(예: 'ped' 또는 'obs')을 추적하는 문장 레이블링 혼동 행렬을 도입하여 계획기 입력을 더 잘 반영한다.
• 혼동 행렬에서 마르코프 체인을 구성하여 시스템 상태 전이를 모델링하고, LTL 안전 사양의 만족 확률을 계산한다.
• 85개의 시나리오와 시나리오당 40프레임을 포함하는 NuScenes 데이터셋을 사용하여, YOLOv3로부터의 2D 객체 검출 예측을 기반으로 평가 데이터를 생성한다.
• LTL(예: '항상 보행자와 안전한 거리를 유지할 것')로 안전 요구사항을 형식화하고, 마르코프 체인 모델을 사용하여 만족 확률을 계산한다.
• 다양한 혼동 행렬 유형과 거리 범위 간의 만족 확률을 비교하여, 이들이 시스템 수준의 안전성에 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 에고 차량으로부터의 거리에 따라 객체 검출 성능는 어떻게 변하고, 이는 시스템 수준의 안전성 검증에 어떻게 영향을 미치는가?
• RQ2 객체 검출 모델의 선택이 형식적 안전 요구사항의 만족 확률에 얼마나 영향을 미치며, 이는 후속 계획기 설계에 따라 어떻게 달라지는가?
• RQ3 문장 레이블링 혼동 행렬이 감지 평가에서 클래스 레이블링 행렬보다 더 정확한 시스템 수준의 안전성 표현을 제공할 수 있는가?
• RQ4 거리 파arameter화된 혼동 행렬은 기존 혼동 행렬 대비 안전성 만족 확률 추정을 어떻게 향상시키는가?
• RQ5 감지 성능을 형식적 검증에 통합함으로써 자율주행 시스템에 대해 더 현실적이고 실행 가능한 안전성 평가가 가능해지는가?

주요 결과

• 문장 레이블링 혼동 행렬은 클래스 레이블링 행렬 대비 더 높은 시스템 수준의 안전성 만족 확률을 보이며, 계획기 논리와의 보다 우수한 일치를 나타낸다.
• 거리 파arameter화된 혼동 행렬은 기존 혼동 행렬 대비 저속 주행 조건에서 만족 확률을 두 배로 높인다.
• 차량 속도가 증가할수록 만족 확률이 감소하며, 이는 고속 주행에서 검출 오류 복구 능력이 떨어지기 때문이다.
• NuScenes 데이터셋에 사전 훈련된 YOLOv3 모델을 사용할 경우 기준 만족 확률이 낮게 나타나 (~20%), 주로 모odal 및 도메인 이탈 한계 때문이었다.
• 실증 결과에 따르면, 에고 차량으로부터 10미터 이내의 객체에 대해 검출 성능이 유의미하게 높게 나타나, 거리 인지 기반 지표의 필요성을 입증한다.
• 프레임워크는 동일한 객체 검출 모델이 후속 계획 및 제어 아키텍처에 따라 다른 안전성 결과를 초래할 수 있음을 시현한다.