[論文レビュー] Stochastic-YOLO: Efficient Probabilistic Object Detection under Dataset Shifts

Tiago Azevedo, René de Jong+2 more|arXiv (Cornell University)|Sep 7, 2020

Adversarial Robustness in Machine Learning参考文献 23被引用数 15

ひとこと要約

Stochastic-YOLO は YOLOv3 にモンテカルロドロップアウト (MC-Drop) を導入することで、ラベルおよび空間的予測の不確実性推定を効率的に行う確率的オブジェクト検出を実現する。本手法は、推論時のオーバーヘッドを最大70%まで低減する画期的なキャッシュメカニズムを採用しており、データセットシフト下でも顕著な耐性を示しながら、多様なハードウェアプラットフォームにおいて低遅延および低消費電力の性能を維持する。

ABSTRACT

In image classification tasks, the evaluation of models' robustness to increased dataset shifts with a probabilistic framework is very well studied. However, object detection (OD) tasks pose other challenges for uncertainty estimation and evaluation. For example, one needs to evaluate both the quality of the label uncertainty (i.e., what?) and spatial uncertainty (i.e., where?) for a given bounding box, but that evaluation cannot be performed with more traditional average precision metrics (e.g., mAP). In this paper, we adapt the well-established YOLOv3 architecture to generate uncertainty estimations by introducing stochasticity in the form of Monte Carlo Dropout (MC-Drop), and evaluate it across different levels of dataset shift. We call this novel architecture Stochastic-YOLO, and provide an efficient implementation to effectively reduce the burden of the MC-Drop sampling mechanism at inference time. Finally, we provide some sensitivity analyses, while arguing that Stochastic-YOLO is a sound approach that improves different components of uncertainty estimations, in particular spatial uncertainties.

研究の動機と目的

• データセットシフト下におけるオブジェクト検出におけるラベルおよび空間的不確実性の体系的評価の欠如に対処すること。
• 実世界のデプロイに適した、推論時のコストを最小限に抑える YOLOv3 におけるモンテカルロドロップアウト (MC-Drop) の効率的実装を開発すること。
• mAP よりも不確実性の質をよりよく捉える probabilistic メトリクス（PDQ）を用いて、モデルの耐性を評価すること。
• 実用的デプロイのための MC-Drop ハイパーパrameter（ドロップアウト率、ファインチューニング）の感度分析を提供すること。
• 自動運転や医療画像診断などの安全が重要な応用分野における不確実性を考慮したオブジェクト検出の広範な採用を可能にすること。

提案手法

• クラスラベルおよびバウンディングボックス位置の両方の不確実性推定を可能にするために、YOLOv3 をモンテカルロドロップアウト (MC-Drop) で拡張し、確率的性質を導入する。
• 複数回のフォワードパスにおける計算の重複を回避するため、MC-Drop サンプリング中に中間活性化をキャッシュするメカニズムを導入する。
• データセットシフトの増加レベル下でのラベルおよび空間的不確実性の質を評価するために、確率的検出品質 (PDQ) メトリクスを用いる。
• 推論時間および消費電力を、高性能 (RTX 2080) およびエッジ (Jetson TX2) プラットフォームで評価し、実世界の効率性を検証する。
• ドロップアウト率およびファインチューニングのアブレーションスタディを実施し、デプロイに最適な設定を特定する。
• 精度、遅延、エネルギー効率のトレードオフを評価するために、Stochastic-YOLO をベースライン YOLOv3 およびアンサンブルモデルと比較する。

実験結果

リサーチクエスチョン

• RQ1 MC-Drop は、データセットシフト下におけるオブジェクト検出のラベルおよび空間的不確実性推定をどのように改善するか？
• RQ2 キャッシュは、確率的オブジェクト検出器における推論時間および消費電力にどのような影響を及えるか？
• RQ3 ドロップアウト率およびファインチューニングは、Stochastic-YOLO における不確実性の質および推論効率にどのように影響するか？
• RQ4 PDQ は、不確実性を考慮したオブジェクト検出モデルの評価において、mAP よりも優れているか？
• RQ5 Stochastic-YOLO は、性能の劣化を伴わずに、高性能デバイスおよびエッジデバイスの両方で効率的にデプロイ可能か？

主な発見

• キャッシュ付きの Stochastic-YOLO は、キャッシュなしの MC-Drop 推論に比べて 2–3 倍の高速化を達成し、遅延はベースライン YOLOv3 の 2–3 倍にまで低下する。一方、キャッシュなしでは 10 倍の遅延が生じる。
• 推論の確率的性質にもかかわらず、消費電力はわずかに増加する（RTX 2080 および Jetson TX2 ともに、ベースライン YOLOv3 の 10% 以内）。
• Stochastic-YOLO は、すべてのデータセットシフトレベルで PDQ スコアを向上させ、ベースライン YOLOv3 よりも優れた不確実性キャリブレーションを示している。
• 事前学習済み YOLOv3 にファインチューニングなしで MC-Drop を直接適用しても、特に低いドロップアウト率で顕著な性能向上が得られる。
• 高いドロップアウト率でのファインチューニングにより、不確実性の質がさらに向上するが、これはトレーニングコストと耐性のトレードオフを示唆している。
• キャッシュメカニズムにより、MC-Drop の計算負荷が最大 70% 減少し、リアルタイムシステムにおける確率的推論の実現可能性が高まった。