[論文レビュー] Performance Monitoring of Object Detection During Deployment.

Quazi Marufur Rahman, Niko Sünderhauf+1 more|arXiv (Cornell University)|Sep 18, 2020

Advanced Neural Network Applications参考文献 27被引用数 5

ひとこと要約

本論文は、オートノミアスな車両などの動的環境で安全性を向上させるために、実時間かつ自己教師ありのオブジェクト検出器のパフォーマンス監視手法を提案する。この手法は、真値データに依存せずに、平均平均精度（mAP）が臨界しきい値未満に低下する状況を内部検出器特徴から予測することで、性能低下のリスクを低減する。性能が低下した際にアラームを発動することで、自律走行車両のような動的環境における安全性が向上する。

ABSTRACT

Performance monitoring of object detection is crucial for safety-critical applications such as autonomous vehicles that operate under varying and complex environmental conditions. Currently, object detectors are evaluated using summary metrics based on a single dataset that is assumed to be representative of all future deployment conditions. In practice, this assumption does not hold, and the performance fluctuates as a function of the deployment conditions. To address this issue, we propose an introspection approach to performance monitoring during deployment without the need for ground truth data. We do so by predicting when the per-frame mean average precision drops below a critical threshold using the detector's internal features. We quantitatively evaluate and demonstrate our method's ability to reduce risk by trading off making an incorrect decision by raising the alarm and absenting from detection.

研究の動機と目的

• 自律走行車両などの安全が重要な応用分野におけるオブジェクト検出器の実時間パフォーランス監視の重要なニーズに対応すること。
• 変化する現実世界の展開条件下で失敗する、静的かつ単一データセットに依存する評価指標の限界を克服すること。
• 真値アノテーションを必要とせずに、推論中におけるパフォーマンス劣化の検出を可能にすること。
• 平均平均精度（mAP）が臨界しきい値未満に低下した際にアラームを発動する手法を開発し、システムの安全性を向上させること。

提案手法

• オブジェクト検出器の内部特徴（例えば、特徴マップや注目マップ）を活用し、リアルタイムで検出の信頼性を評価すること。
• 内部特徴と低mAPに関連するパターンを学習することで、パフォーマンス低下を予測する代理モデルを訓練すること。
• 予測されたmAPが事前に定義された臨界値未満に下がった際にアラームを発動するしきい値ベースのアラームシステムを採用すること。
• 展開時に外部アノテーションや真値に依存しない自己教師ありの方法で動作させること。
• 監視モジュールを推論パイプラインに直接統合し、低遅延かつ継続的なパフォーマンス評価を可能にすること。

実験結果

リサーチクエスチョン

• RQ1 学習済みオブジェクト検出器の内部特徴は、環境条件が変化する条件下でも、パフォーマンス劣化を信頼性高く示せるか？
• RQ2 展開時に真値にアクセスできない状況下でも、自己教師あり手法がどの程度mAPの低下を検出できるか？
• RQ3 予測されたmAPの低下を早期に検出するための、誤検出数を制御したアラームシステムは、リスク低減にどの程度有効か？
• RQ4 従来の評価指標と比較して、本手法は多様な現実世界の展開状況においてどの程度効果を発揮するか？

主な発見

• 内部特徴の分析により、オブジェクト検出器のパフォーマンス劣化を効果的に検出でき、mAPの低下に対する信頼性の高い早期警告が可能となった。
• 真値が存在しない状況下でも、性能が臨界しきい値未満に低下した際にタイムリーにアラームを発動できることで、リスク低減が実現された。
• 重大なパフォーマンス障害を逃すことを避けるために、制御された数の誤検出を許容することで、動的環境における安全性が向上した。
• 定量的評価により、本手法が現実世界の変動性に強く、従来の要約指標を上回る高い感受性でmAPの劣化を検出できることを確認した。