[論文レビュー] Inferring Spatial Uncertainty in Object Detection

Zining Wang, Di Feng+6 more|arXiv (Cornell University)|Mar 7, 2020

Advanced Neural Network Applications参考文献 39被引用数 7

ひとこと要約

本稿では、LiDARベースのオブジェクト検出におけるボクセルラベルの空間的不確実性を推定する生成モデルを提案し、空間的分布を用いて不確実性を表現する。また、ラベルの不確実性を組み込んだ確率的拡張IoU（Jaccard IoU; JIoU）を導入し、KITTIおよびWaymoデータセットにおいて、標準的なIoUと比較して確率的検出器の評価性能が向上することを示している。

ABSTRACT

The availability of real-world datasets is the prerequisite for developing object detection methods for autonomous driving. While ambiguity exists in object labels due to error-prone annotation process or sensor observation noises, current object detection datasets only provide deterministic annotations without considering their uncertainty. This precludes an in-depth evaluation among different object detection methods, especially for those that explicitly model predictive probability. In this work, we propose a generative model to estimate bounding box label uncertainties from LiDAR point clouds, and define a new representation of the probabilistic bounding box through spatial distribution. Comprehensive experiments show that the proposed model represents uncertainties commonly seen in driving scenarios. Based on the spatial distribution, we further propose an extension of IoU, called the Jaccard IoU (JIoU), as a new evaluation metric that incorporates label uncertainty. Experiments on the KITTI and the Waymo Open Datasets show that JIoU is superior to IoU when evaluating probabilistic object detectors.

研究の動機と目的

• 決定論的オブジェクト検出データセットにおける不確実性表現の欠如に起因する課題を解決すること、特にLiDARベースの3次元ボクセルラベルに対して。
• 実世界のドライブデータセットにおけるセンサーノイズおよびアノテーションの曖昧さに起因する固有のラベル不確実性をモデル化すること。
• 2次元／3次元空間におけるラベル不確実性を可視化および定量化するための空間的分布表現を構築すること。
• ラベル不確実性を考慮した新しい評価指標として、Jaccard IoU（JIoU）を提案し、確率的オブジェクト検出器の公平な評価を可能とすること。
• KITTIおよびWaymoデータセットにおいて、最先端の確率的検出器の不確実性推定品質を評価する有効性を検証すること。

提案手法

• LiDAR点群を入力として、ボクセルラベルの空間的分布を推定する生成モデルを学習し、位置、サイズ、姿勢における不確実性を捉える。
• ボクセルパラメータ（中心、長さ、幅、方位角）の多次元正規分布として空間的分布をモデル化し、非対角成分を含む共分散行列を用いてパラメータ間の相関を表現する。
• センサーノイズおよびアノテーションの曖昧さを事前知識として組み込み、観測されたLiDAR点群に生成モデルを適合させることで、ラベル不確実性を推定する。
• Jaccard IoU（JIoU）は、2つの空間的分布間の積集合をユニオンで割ったものとして定義され、標準的なIoUを確率的ボクセルに一般化したものである。
• 予測分布と真値分布間のJIoUをモンテカルロサンプルを用いて計算することで、不確実性を考慮した評価を可能にする。
• 確率的検出器（例：CalibProbPIXOR）に対して温度スケーリングを適用し、不確実性のキャリブレーションを向上させ、その効果をJIoUで評価する。

実験結果

リサーチクエスチョン

• RQ1 LiDARベースのオブジェクト検出におけるボクセルラベルの空間的不確実性は、どのように体系的にモデル化され、定量化できるか？
• RQ2 ラベル不確実性を組み込むことで、標準的なIoUと比較して、確率的オブジェクト検出器の評価はどの程度向上するか？
• RQ3 IoUスコアが類似しているが不確実性レベルが異なる場合、Jaccard IoU（JIoU）は検出品質の差を効果的に区別できるか？
• RQ4 温度スケーリングによる不確実性キャリブレーションは、確率的検出器におけるJIoU性能にどのように影響を与えるか？
• RQ5 特に高信頼度スレッショルドにおいて、IoUと比較してJIoUは予測とラベルの分布不一致に対してより効果的にペナルティを課すか？

主な発見

• JIoUスコアは常にIoUと相関を示すが、不確実性に配慮した追加情報を提供し、曖昧な状況下での検出品質評価を向上させる。
• LiDAR観測が疎である場合（例：物体の背面）、真値のJIoUはすでに低かった（例：0.39）。これは、ラベル不確実性を無視すると高スコアなIoUが誤解を招く可能性があることを示している。
• 同一のIoUスコアを示す2つの検出結果でも、ラベルおよび予測の不確実性分布の違いによりJIoUスコアが異なるため、JIoUがより洗練された評価能力を有していることが示された。
• 温度スケーリングにより全体のJIoUが向上し、過信の緩和が達成されたが、個々のサンプルでは改善が保証されず、一部の検出ではキャリブレーション後にJIoUが悪化した。
• 確率的検出器（ProbPIXORおよびCalibProbPIXOR）は、IoUでしきい値を設定した場合、決定論的PIXORに比べて一貫したリCALLの向上を示したが、高JIoUスレッショルドでは対称的な不確実性分布のため、性能が急激に低下した。
• 高JIoUスレッショルドでの性能低下は、現在の対称的分布を有する確率的検出器が、ラベルの空間的不確実性構造を正しく再現できていないことを示しており、より良い回帰符号化または相関のある不確実性モデリングの必要性を浮き彫りにしている。