[論文レビュー] Boosting R-CNN: Reweighting R-CNN Samples by RPN's Error for Underwater Object Detection

Pinhao Song, Hong Liu+3 more|arXiv (Cornell University)|Jun 28, 2022

Advanced Neural Network Applications被引用数 7

ひとこと要約

本論文は、RetinaRPNによる不確実性モデリングとRPN誤差に基づくハード例のブースティング再重み付けを用いて、検出のロバスト性を向上させる2段階型水中オブジェクト検出フレームワークであるBoosting R-CNNを提案する。本手法は、曇り、低コントラスト、隠蔽、模倣などの困難な水中環境においても性能を向上させ、UTDAC2020およびBrackishデータセットで最先端の結果を達成し、COCOおよびVOCでも優れた汎化性能を示す。

ABSTRACT

Complicated underwater environments bring new challenges to object detection, such as unbalanced light conditions, low contrast, occlusion, and mimicry of aquatic organisms. Under these circumstances, the objects captured by the underwater camera will become vague, and the generic detectors often fail on these vague objects. This work aims to solve the problem from two perspectives: uncertainty modeling and hard example mining. We propose a two-stage underwater detector named boosting R-CNN, which comprises three key components. First, a new region proposal network named RetinaRPN is proposed, which provides high-quality proposals and considers objectness and IoU prediction for uncertainty to model the object prior probability. Second, the probabilistic inference pipeline is introduced to combine the first-stage prior uncertainty and the second-stage classification score to model the final detection score. Finally, we propose a new hard example mining method named boosting reweighting. Specifically, when the region proposal network miscalculates the object prior probability for a sample, boosting reweighting will increase the classification loss of the sample in the R-CNN head during training, while reducing the loss of easy samples with accurately estimated priors. Thus, a robust detection head in the second stage can be obtained. During the inference stage, the R-CNN has the capability to rectify the error of the first stage to improve the performance. Comprehensive experiments on two underwater datasets and two generic object detection datasets demonstrate the effectiveness and robustness of our method.

研究の動機と目的

• 複雑な海洋環境における曇り、低コントラスト、隠蔽、模倣の影響による曇った水中オブジェクトの検出の課題に対処すること。
• 均一な監視を適用する一般的なオブジェクト検出器が、ハードで曖昧なサンプルで失敗するという限界を克服すること。
• 領域提案における不確実性をモデリングし、確率的推論パイプラインを用いて予測を精緻化することで、検出の信頼性を向上させること。
• RPN予測誤差に基づく再重み付けによりR-CNNヘッドの性能を向上させ、ハード例に対して誤りを是正し、ロバスト性を高めること。

提案手法

• オブジェクトネスとIoU予測の2つのヘッドを備えた変更済みRPN、すなわちRetinaRPNを提案。不確実性の事前分布をモデル化し、高速IoU損失を用いて提案品質を向上させる。
• RetinaRPNの事前不確実性とR-CNN分類スコアを統合する確率的推論パイプラインを導入。より信頼性の高い最終的検出スコアを生成する。
• RPN予測誤差に基づく再重み付け戦略としてのブースティング再重み付けを提案。誤って予測されたRPNの事前分布を持つサンプルの分類損失を増加させ、正しく予測された簡単なサンプルの損失を低減する。
• 再重み付けされたサンプルでR-CNNヘッドを学習させることで、曇りや曇ったオブジェクトに対するロバスト性を向上させ、推論時に誤りを是正可能にする。
• 第1段階の不確実性と第2段階の分類スコアの統合により、検出の信頼性を高め、過信した偽陽性を低減する。
• 歪みや曇りに強く、境界ボックス回帰の精度を向上させるために、RetinaRPNでFIoU損失を活用する。

実験結果

リサーチクエスチョン

• RQ1 水中環境における領域提案の不確実性を効果的にモデリングすることで、検出の信頼性を向上させることは可能か？
• RQ2 RPN予測誤差に基づく再重み付けは、ハードで曖昧なサンプルに対するR-CNNヘッドのロバスト性をどの程度向上させ得るか？
• RQ3 不確実性に配慮した提案生成と確率的統合を備えた2段階検出器は、困難な水中ベンチマークで既存の検出器を上回る性能を発揮できるか？
• RQ4 ブースティング再重み付けの統合は、水中および一般的なオブジェクト検出データセットにおける検出器の汎化性能にどのように影響を与えるか？
• RQ5 各コンponent（RetinaRPN、確率的推論、ブースティング再重み付け）は、全体の検出性能にそれぞれどの程度寄与しているか？

主な発見

• Boosting R-CNNは、UTDAC2020データセットでmAP 50.7%、BrackishデータセットでmAP 47.9%を達成し、既存の検出器を上回る最先端の性能を発揮した。
• ATSS、PAA、DetectoRSなどの他の検出器がオブジェクトを漏れさせるような、照明の不均衡、重度の隠蔽、模倣の深刻な状況においても、本手法はすべての正例を正しく検出できた。
• アブレーションスタディの結果、確率的推論とブースティング再重み付けを組み合わせた完全なモデルは、過信した予測を低減し、特に小さな曇ったオブジェクトの検出リコールを向上させた。
• FIoU損失を用いたRetinaRPNは、高品質な提案を提供し、複雑な背景に隠れた小さなエキニやオブジェクトの正確な検出を可能にした。
• 確率的推論パイプラインは、ベースラインモデルよりも合理的な信頼度スコアを生成し、過信した偽陽性を効果的にフィルタリングした。
• Boosting R-CNNは一般オブジェクト検出にも良好に汎化され、Pascal VOCおよびMS COCOでも競争力のある結果を達成した。これは、水中環境に限らず、本手法の高いロバスト性を示している。