[論文レビュー] A Step Towards Efficient Evaluation of Complex Perception Tasks in Simulation

Jonathan Sadeghi, Blaine Rogers+5 more|arXiv (Cornell University)|Sep 28, 2021

Adversarial Robustness in Machine Learning被引用数 6

ひとこと要約

本論文は、LiDAR検出器などの計算コストの高い深層学習モデルに代わって、軽量で低精度の代替モデルを用いることで、シミュレーションにおける複雑な認識タスクの効率的で大規模な評価を可能にする代替モデリング手法を提案する。この手法により、計算時間は20倍短縮されたが、検出精度、再現率、衝突時間といった主要な指標において、元のモデルと高い類似性を維持した。これは、CARLAシミュレータを用いたPIXORおよびCenterPoint検出器の検証で確認された。

ABSTRACT

There has been increasing interest in characterising the error behaviour of systems which contain deep learning models before deploying them into any safety-critical scenario. However, characterising such behaviour usually requires large-scale testing of the model that can be extremely computationally expensive for complex real-world tasks. For example, tasks involving compute intensive object detectors as one of their components. In this work, we propose an approach that enables efficient large-scale testing using simplified low-fidelity simulators and without the computational cost of executing expensive deep learning models. Our approach relies on designing an efficient surrogate model corresponding to the compute intensive components of the task under test. We demonstrate the efficacy of our methodology by evaluating the performance of an autonomous driving task in the Carla simulator with reduced computational expense by training efficient surrogate models for PIXOR and CenterPoint LiDAR detectors, whilst demonstrating that the accuracy of the simulation is maintained.

研究の動機と目的

• 自律走行などの安全が重要な応用分野における、深層学習ベースの認識システムの大型スケールテストにおける高い計算コストに対処すること。
• 計算集約的なバックボーン検出器からの入力を効率的にシミュレートすることで、後続タスク（例：経路計画）の障害モードを広範囲に分析可能にすること。
• 高精度のセンサ入力を低次元の顕著な変数に置き換える代替モデリングフレームワークを構築すること。
• 代替モデルが多様なシミュレーション条件下でも元の検出器の出力と高い類似性を維持できることを実証し、スケーラブルなテストを可能にすること。
• シミュレーションベースの検証において、高価なフルディープラーニングモデルの推論に依存することを減らし、テストカバレッジや正確性を損なわずに済ませること。

提案手法

• 高精度のシミュレータおよび計算集約的なバックボーン検出器を、低精度のシミュレータと、検出器の出力を模倣するように訓練された軽量な代替モデルに置き換える。
• 生のセンサデータの代わりに、顕著な変数（例：物体の位置、姿勢、隠蔽度、照明、分類情報）を代替モデルの入力として使用する。
• 代替モデルは、シミュレートされたシーンと対応する正例検出結果のデータセットを用いて、元の検出器（例：CenterPoint や PIXOR）の出力を近似するように訓練される。
• 代替モデルは、元の検出器と同様に、後続タスク（例：経路計画）にフィードバックする形でシミュレーションパイプラインに統合される。
• クラスの不均衡（特にエゴ車両からの距離が異なる車両）を補正するために、層別抽出を用いて訓練を行う。
• 代替モデルの評価には、精度、再現率、軌道類似度、衝突までの時間といった指標を用い、元の検出器および正例と比較してその挙動を評価する。

実験結果

リサーチクエスチョン

• RQ1 軽量な代替モデルは、シミュレーションにおいてCenterPoint や PIXOR などの複雑なLiDAR検出器の検出挙動を正確に再現できるか？
• RQ2 代替モデルは、後続タスクにおける障害モード検出の忠実度を損なわず、計算コストをどの程度削減できるか？
• RQ3 代替モデルは、自律走行シミュレーションにおける衝突間隔やルート完了といった重要な指標をどれほど正確に再現できるか？
• RQ4 高精度なシミュレーションと比較して顕著な変数の低次元表現に基づいて代替モデルを効果的に訓練できるか、精度の著しい損失は生じないか？
• RQ5 代替モデルの設計が、経路計画などの後続タスクの挙動の現実性にどのような影響を与えるか？

主な発見

• 代替モデル（NS）は、CARLAシミュレータで元のCenterPoint検出器を実行する場合と比較して、計算時間を20倍短縮した。
• NSは100％の精度を達成し、誤検出を回避する設計のおかげで、テストセットで完全に偽陽性を発生させなかった。
• NSは特に短距離の物体に対して、再現率と軌道類似度の点で元の検出器の性能と非常に近い結果を示した。
• NSの衝突間隔の累積分布関数は、正例よりも元の検出器に近い結果を示し、障害ダイナミクスを正確に捉えていることを示した。
• 一部のシナリオでは、NSは正例を上回るルート完了率と中央値の衝突間隔を示したが、これは偽陽性検出が存在しないためと推測される。
• 代替モデルは、付録Hの定性的な例で示されるように、既知のLiDAR検出器の誤動作パターンを正確に再現した。