[論文レビュー] Evaluation Metrics for Object Detection for Autonomous Systems

Apurva Badithela, Tichakorn Wongpiromsarn+1 more|arXiv (Cornell University)|Oct 19, 2022

Formal Methods in Verification被引用数 6

ひとこと要約

本稿では、自律走行システムにおける物体検出の評価のため、距離をパrameterとする命題ラベル付きおよびクラスラベル付きの混同行列という2つの新しい評価指標を導入する。これらの指標を線形時相論理（LTL）を用いた形式的検証と統合することで、システムレベルの安全性の満たされる確率を定量化するフレームワークを構築した。距離に依存する指標と命題に基づく指標は、特に低速走行時において、従来のアプローチよりも顕著に高い安全性の満たされる確率を示した。

ABSTRACT

This paper studies the evaluation of learning-based object detection models in conjunction with model-checking of formal specifications defined on an abstract model of an autonomous system and its environment. In particular, we define two metrics -- \emph{proposition-labeled} and \emph{class-labeled} confusion matrices -- for evaluating object detection, and we incorporate these metrics to compute the satisfaction probability of system-level safety requirements. While confusion matrices have been effective for comparative evaluation of classification and object detection models, our framework fills two key gaps. First, we relate the performance of object detection to formal requirements defined over downstream high-level planning tasks. In particular, we provide empirical results that show that the choice of a good object detection algorithm, with respect to formal requirements on the overall system, significantly depends on the downstream planning and control design. Secondly, unlike the traditional confusion matrix, our metrics account for variations in performance with respect to the distance between the ego and the object being detected. We demonstrate this framework on a car-pedestrian example by computing the satisfaction probabilities for safety requirements formalized in Linear Temporal Logic (LTL).

研究の動機と目的

• 孤立した精度指標ではなく、下流のシステムレベルの安全性要件に基づいた物体検出モデルの評価のギャップを埋める。
• 従来の混同行列が無視するが、物体の距離が検出性能に与える顕著な影響を考慮する。
• 認識性能と高レベルの安全性特性（線形時相論理（LTL）で表現）を結びつける形式的フレームワークを構築する。
• 計測的に、物体検出モデルの選択が、プランナーや制御設計に依存してシステムレベルの安全性の満たされる確率に与える影響を示す。
• 認識、計画、形式的検証を統合した定量的でシステムレベルの安全性評価手法を提供する。

提案手法

• エゴ車両からの距離をパrameterとするクラスラベル付きの混同行列を提案し、異なるエゴ-物体距離における検出性能の変動を捉える。
• 物体クラスの論理的組み合わせ（例：'ped' または 'obs'）を追跡する命題ラベル付きの混同行列を導入し、プランナーの入力によりよく適合させる。
• 混同行列からマルコフ連鎖を構築し、システムの状態遷移をモデル化し、LTL安全性仕様の満たされる確率を計算する。
• 85のシーンと1シーンあたり40フレームの合計で、YOLOv3を用いた2次元物体検出予測結果を用いて、NuScenesデータセットから評価データを生成する。
• LTL（例：'歩行者との安全距離を常に維持すること'）を用いて安全性要件を形式化し、マルコフ連鎖モデルを用いて満たされる確率を計算する。
• 異なる混同行列タイプと距離範囲における満たされる確率を比較し、システムレベルの安全性に与える影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 物体がエゴ車両からどれほど離れているかに応じて、物体検出性能はどのように変化するのか。また、その影響はシステムレベルの安全性検証にどのように現れるか。
• RQ2 物体検出モデルの選択が、形式的安全性要件の満たされる確率にどの程度影響を及ぼすのか。また、その影響は下流のプランナーに依存するか。
• RQ3 命題ラベル付きの混同行列は、クラスラベル付きの混同行列よりも、認識評価におけるシステムレベルの安全性をより正確に反映できるか。
• RQ4 距離パrameter付きの混同行列は、標準的な混同行列と比較して、安全性の満たされる確率の推定をどの程度改善するか。
• RQ5 認識性能を形式的検証に組み込むことで、自律走行システムの安全性評価がより現実的かつ実行可能なものになるか。

主な発見

• 命題ラベル付きの混同行列は、クラスラベル付きのものよりも高いシステムレベルの安全性の満たされる確率を示し、プランナーの論理とよりよく整合していることを示している。
• 距離パrameter付きの混同行列は、標準的な混同行列と比較して、低速走行時において満たされる確率を2倍に高めた。
• 車両の走行速度が上昇するにつれて、満たされる確率が低下し、高速走行時には検出誤りからの回復能力が低下していることが示された。
• NuScenesデータセットに事前学習済みのYOLOv3モデルを適用した結果、基準となる満たされる確率が低く（約20％）にとどまり、主にモダリティおよびドメインシフトの制限に起因している。
• 実験的結果から、エゴ車両から10メートル以内の物体では検出性能が顕著に高く、距離に依存する指標の必要性が裏付けられた。
• フレームワークは、同じ物体検出モデルでも、下流の計画および制御アーキテクチャに応じて異なる安全性の結果をもたらす可能性があることを示した。