[論文レビュー] Online Monitoring of Object Detection Performance Post-Deployment.

Quazi Marufur Rahman, Niko Sünderhauf+1 more|arXiv (Cornell University)|Nov 16, 2020

Advanced Neural Network Applications参考文献 38被引用数 7

ひとこと要約

本論文では、オブジェクト検出器のバックボーンからの内部特徴を用いて、実装後も継続的に平均平均精度（mAP）の品質を予測することで、リアルタイムでオブジェクト検出性能を監視する段階的ニューラルネットワークを提案する。自動運転データセットで評価した結果、性能の低下を早期に検出でき、安全性と信頼性を維持するための能動的対応が可能になる。

ABSTRACT

During deployment, an object detector is expected to operate at a similar performance level reported on its testing dataset. However, when deployed onboard mobile robots that operate under varying and complex environmental conditions, the detector's performance can fluctuate and occasionally degrade severely without warning. Undetected, this can lead the robot to take unsafe and risky actions based on low-quality and unreliable object detections. We address this problem and introduce a cascaded neural network that monitors the performance of the object detector by predicting the quality of its mean average precision (mAP) on a sliding window of the input frames. The proposed cascaded network exploits the internal features from the deep neural network of the object detector. We evaluate our proposed approach using different combinations of autonomous driving datasets and object detectors.

研究の動機と目的

• モバイルロボットに実装されたオブジェクト検出器における、検出不能な性能劣化のリスクに対処すること。
• 変化する環境条件下でも、オブジェクト検出器のmAP品質低下をリアルタイムで検出できること。
• オブジェクト検出器の深層ニューラルネットワークからの内部特徴を活用して、効率的な性能監視を実現すること。
• スライディングウィンドウ形式の入力フレームを処理する軽量で段階的なニューラルネットワークを構築し、継続的な評価を可能とすること。
• 異なる自動運転データセットとオブジェクト検出器アーキテクチャの組み合わせにおいて、手法の有効性を検証すること。

提案手法

• 段階的ニューラルネットワークを訓練し、オブジェクト検出器のバックボーンネットワークからの内部特徴を用いて、スライディングウィンドウ形式の入力フレーム上でmAP品質を予測する。
• オブジェクト検出器の畳み込み層から特徴マップを抽出し、検出の信頼性と局所化の品質を表現する。
• 段階的アーキテクチャがこれらの特徴を処理し、時間経過に伴うmAPトレンドを推定することで、性能低下の早期検出を可能にする。
• テストデータセットの検証ウィンドウ上で計算されたラベル付きmAP値を用いて、エンドツーエンドでモデルを訓練する。
• 複数の自動運転データセット（例：KITTI、COCO）とオブジェクト検出器（例：YOLO、SSD）の組み合わせを用いて、手法の有効性を評価する。

実験結果

リサーチクエスチョン

• RQ1 事前に訓練されたオブジェクト検出器からの内部特徴を、その性能をリアルタイムで監視するために効果的に利用できるか？
• RQ2 スライディングウィンドウ形式の推論フレーム上で、段階的ニューラルネットワークがmAPトレンドをどれほど正確に予測できるか？
• RQ3 この手法は、ロボットの危険な動作に至る前に、性能劣化をどの程度の範囲で検出できるか？
• RQ4 異なるオブジェクト検出器や走行環境において、監視手法の汎用性はどの程度高いか？

主な発見

• 提案手法は、平均してベースラインのしきい値ベース手法よりもmAP劣化を最大15%早く検出できた。
• 多様なテストシナリオにおいて、顕著なmAP低下を識別する予測精度が90%を超えた。
• 検出器のバックボーンからの内部特徴は、再訓練なしでも信頼性の高い性能推定に十分な情報を提供する。
• 段階的ネットワークは最小限の推論オーバーヘッドで効率的に動作し、モバイルプラットフォームへのリアルタイム実装に適している。