[論文レビュー] The Probabilistic Object Detection Challenge

John Skinner, David Hall+3 more|arXiv (Cornell University)|Mar 19, 2019

Adversarial Robustness in Machine Learning参考文献 7被引用数 4

ひとこと要約

本論文は、空間的不確実性をガウス分布を用いて出力するよう要求する新しいベンチマーク、ACRVロボットビジョンチャレンジ1：確率的オブジェクト検出を紹介する。このチャレンジは、確率的検出品質（PDQ）指標を用いて評価され、模擬的な動画シーケンス（多様な照明、視点、カメラ高さを含む）を用いて、実世界のロボット展開における不確実性のキャリブレーションを重視する。

ABSTRACT

We introduce a new challenge for computer and robotic vision, the first ACRV Robotic Vision Challenge, Probabilistic Object Detection. Probabilistic object detection is a new variation on traditional object detection tasks, requiring estimates of spatial and semantic uncertainty. We extend the traditional bounding box format of object detection to express spatial uncertainty using gaussian distributions for the box corners. The challenge introduces a new test dataset of video sequences, which are designed to more closely resemble the kind of data available to a robotic system. We evaluate probabilistic detections using a new probability-based detection quality (PDQ) measure. The goal in creating this challenge is to draw the computer and robotic vision communities together, toward applying object detection solutions for practical robotics applications.

研究の動機と目的

• ロボットアプリケーションにおけるオブジェクト検出の不確実性を評価するベンチマークの不足に対処する。
• 時間的相関、変化する照明、カメラ高さを再現する、ロボットが感知する動画に類似した現実的なテストデータセットを構築する。
• 空間的および意味的不確実性を適切にキャリブレートするオブジェクト検出器の開発を促進する。
• 訓練データを非公開にし、COCOに類似したクラスを用いることで、データセット特有のフィッティングを回避する。
• PDQ指標を用いた標準化された評価フレームワークを提供し、正確な不確実性推定を奨励する。

提案手法

• 昼間／夜間の照明と3つのカメラ高さを備えた3次元シミュレーション環境を用いて、合成動画シーケンスを生成する。
• 空間的不確実性を境界ボックスの周囲にガウス分布で表現することを要件とする確率的オブジェクト検出を定義する。
• 空間的品質（フォアグラウンドおよびバックグラウンド損失を介して）とラベル品質（真のクラスの予測確率）を組み合わせた確率的検出品質（PDQ）指標を用いる。
• 空間的品質を対数確率損失を用いて計算する：$ L_{FG} $ は正例ボックス内、$ L_{BG} $ は検出範囲内だが正例外のピクセルに対して。
• ペアワイズPDQを幾何平均として計算する：$ \operatorname{pPDQ}(\mathcal{G},\mathcal{D}) = \sqrt{Q_S(\mathcal{G},\mathcal{D}) \cdot Q_L(\mathcal{G},\mathcal{D})} $。
• 正例と検出ペア間の最適な割り当てを実行し、最終的な平均PDQを計算することで、誤検出、見逃し、検出品質に関する詳細なフィードバックを可能にする。

実験結果

リサーチクエスチョン

• RQ1 オブジェクト検出をどのように拡張すれば、ロボット意思決定を支援する空間的および意味的不確実性推定が可能になるか？
• RQ2 既存の検出器は、ガウス分布を用いて空間的不確実性を出力するようにどの程度適応可能か？
• RQ3 PDQ指標は不確実性キャリブレーションに基づいて検出器を効果的に評価・順位付けできるか？
• RQ4 実世界のロボット認識において、検出再現率、適合率、不確実性キャリブレーションの間にはどのようなトレードオフがあるか？
• RQ5 時間的相関と多様な視点を持つ模擬動画データセットは、静的画像ベンチマークと比較して、ロボットが感知するデータをよりよく反映できるか？

主な発見

• 参加者1が最高の全体PDQスコアを達成し、空間的および意味的不確実性キャリブレーションのバランスが最良であった。
• 参加者4は検出オブジェクトの平均pPDQが最も高かったが、多くの正例を見逃すという高い偽陰性率を示した。
• 参加者2は高い適合率で最多のオブジェクトを検出できたが、平均品質が低く、参加者1より全体のPDQが低かった。
• PDQ指標は不確実性キャリブレーションに基づいてシステムを的確に区別でき、正確な信頼度を示すシステムを奨励した。
• 18のテストシーケンス（3環境×2照明×3カメラ高さ）とテスト開発セットの123,704枚の画像を含む模擬データセットは、時間的および空間的不確実性評価に適した豊富で多様なベンチマークを提供した。
• テストセットとは異なる環境からの4つのシーケンスを含む検証セットは、環境間で一般化できるモデルがより高いスコアを達成することを確認した。