[論文レビュー] Soft Sampling for Robust Object Detection

Zhe Wu, Navaneeth Bodla+4 more|arXiv (Cornell University)|Jun 18, 2018

Advanced Neural Network Applications参考文献 25被引用数 47

ひとこと要約

本論文は、欠落したアノテーション下での物体検出器の頑健性を研究し、Overlap-Based Soft Sampling (OSS) を提案して RoI 勾配を再重み付けし、PASCAL VOC および Open Images V3/V4 でアノテーションが不完全な場合の性能を改善する。

ABSTRACT

We study the robustness of object detection under the presence of missing annotations. In this setting, the unlabeled object instances will be treated as background, which will generate an incorrect training signal for the detector. Interestingly, we observe that after dropping 30% of the annotations (and labeling them as background), the performance of CNN-based object detectors like Faster-RCNN only drops by 5% on the PASCAL VOC dataset. We provide a detailed explanation for this result. To further bridge the performance gap, we propose a simple yet effective solution, called Soft Sampling. Soft Sampling re-weights the gradients of RoIs as a function of overlap with positive instances. This ensures that the uncertain background regions are given a smaller weight compared to the hardnegatives. Extensive experiments on curated PASCAL VOC datasets demonstrate the effectiveness of the proposed Soft Sampling method at different annotation drop rates. Finally, we show that on OpenImagesV3, which is a real-world dataset with missing annotations, Soft Sampling outperforms standard detection baselines by over 3%.

研究の動機と目的

• 現代の検出器における欠落したアノテーションの影響を動機づけ、それを定量化する。
• CNN ベースの検出器が部分的な監視に対して驚くほど頑健であることを示す。
• アノテーションが不完全な場合のパフォーマンスギャップを埋める簡易な勾配ウェイト付け手法を提案する。
• 厳選された PASCAL VOC および大規模な Open Images データセット上で手法の有効性を示す。

提案手法

• Gompertz 曲線を用いて、正例とのオーバーラップに基づき RoI 勾配の重みを減衰させる overlap-based soft-sampling (OSS) スキームを導入する。
• 大規模なネガティブのプールを維持することが有益であり、ソフトウェ weighting はすべての提案に対して訓練信号を保持する。
• 代替の再重み付け手法として検出スコアに基づくソフトサンプリングを任意で検討する。
• 様々なアノテーションドロップ率で OSS を評価し、ベースラインと dropped boxes および対応する proposals を無視する上限値と比較する。
• OSS が再学習サイクルなしで既存の検出器に組み込めることを示す。

実験結果

リサーチクエスチョン

• RQ1 欠落したアノテーションは訓練信号と検出器の性能にどのように影響するか？
• RQ2 RoI 勾配の単純な再重み付けは、訓練中の未ラベル物体の影響を緩和できるか？
• RQ3 部分アノテーションを持つベンチマーク上で、オーバーラップに基づくソフトサンプリングはハードネガティブ・マイニングや標準的なベースラインとどのように比較されるか？
• RQ4 提案手法は不完全なアノテーションを持つ大規模な実世界データセット（Open Images）にも一般化するか？

主な発見

Method	no drop	30 %	40 %	50 %
ベースライン	81.28	76.75	74.62	69.11
ハードネガティブ	-	74.68	73.99	71.41
ソフトサンプリング（Ov）	-	78.24	76.78	73.5
ソフトサンプリング（Sc）	-	77.99	75.91	72.55
上限	-	79.26	77.5	74.54

• 欠落したアノテーションで訓練された検出器は、PASCAL VOC でのみ控えめな性能低下を示す（例：30% の欠落ラベルが IoU 0.5 で mAP を 81.28 から 76.75 に低下）。
• Overlap-based soft-sampling (OSS) は 30% の低下時に mAP を 78.24 へ改善し、上限 79.26 に近づく（ベースラインより 1.5% 向上）。
• アノテーション低下が大きくなるにつれて OSS はギャップを一貫して狭め、より高い低下率で最大約 4% のギャップを回復し、検証されたすべての条件で上限の約 1% 内にとどまる。
• Open Images V3 サブセット（Open50）では OSS が 0.5 IoU で 45.92% mAP を達成し、ベースライン（42.57%）を 3% 以上上回る。
• OSS はいくつかの設定でハードネガティブ・マイニングを上回り、ネガティブのプールを大きく保ちつつソフト weighting を行うことがより良い訓練信号を生み出すことを示している。