[논문 리뷰] Boosting R-CNN: Reweighting R-CNN Samples by RPN's Error for Underwater Object Detection

Pinhao Song, Hong Liu외 3명|arXiv (Cornell University)|2022. 06. 28.

Advanced Neural Network Applications인용 수 7

한 줄 요약

이 논문은 불확실성 모델링을 통해 탐지 정확도를 향상시키고 RPN 오차 기반으로 하드 예제에 대한 재가중을 적용함으로써 탐지 신뢰도를 높이는 이중 단계형 수중 객체 검출 프레임워크인 Boosting R-CNN을 제안한다. 이는 블러, 저대trast, 가림, 유사성 등 도전적인 수중 조건에서도 성능을 향상시키며, UTDAC2020 및 Brackish 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하고 COCO 및 VOC에서 뛰어난 일반화 능력을 보인다.

ABSTRACT

Complicated underwater environments bring new challenges to object detection, such as unbalanced light conditions, low contrast, occlusion, and mimicry of aquatic organisms. Under these circumstances, the objects captured by the underwater camera will become vague, and the generic detectors often fail on these vague objects. This work aims to solve the problem from two perspectives: uncertainty modeling and hard example mining. We propose a two-stage underwater detector named boosting R-CNN, which comprises three key components. First, a new region proposal network named RetinaRPN is proposed, which provides high-quality proposals and considers objectness and IoU prediction for uncertainty to model the object prior probability. Second, the probabilistic inference pipeline is introduced to combine the first-stage prior uncertainty and the second-stage classification score to model the final detection score. Finally, we propose a new hard example mining method named boosting reweighting. Specifically, when the region proposal network miscalculates the object prior probability for a sample, boosting reweighting will increase the classification loss of the sample in the R-CNN head during training, while reducing the loss of easy samples with accurately estimated priors. Thus, a robust detection head in the second stage can be obtained. During the inference stage, the R-CNN has the capability to rectify the error of the first stage to improve the performance. Comprehensive experiments on two underwater datasets and two generic object detection datasets demonstrate the effectiveness and robustness of our method.

연구 동기 및 목표

• 복잡한 해양 환경에서 블러, 저대비, 가림, 유사성으로 인해 객체가 모호해지는 문제를 해결하기 위해 수중 객체 검출의 과제를 다루는 것.
• 일반적인 객체 검출기들이 동일한 감독을 부여하고 하드하고 모호한 샘플에서 실패하는 한계를 극복하는 것.
• 영역 제안에서의 불확실성 모델링과 확률적 추론 파이프라인을 통한 예측 정밀도 향상으로 검출 신뢰도를 높이는 것.
• RPN 예측 오차 기반으로 샘플을 재가중하여 R-CNN 헤드의 두 번째 단계를 개선함으로써 하드 예제에 대한 강건성과 오류 수정 능력을 향상시키는 것.

제안 방법

• 객체 존재성과 IoU 예측을 위한 이중 헤드를 갖춘 수정된 RPN인 RetinaRPN을 제안하여 사전 불확실성을 모델링하고 빠른 IoU 손실을 활용해 제안 품질을 향상시킨다.
• RetinaRPN의 사전 불확실성과 R-CNN 분류 점수를 조합하여 더 신뢰할 수 있는 최종 검출 점수를 생성하는 확률적 추론 파이프라인을 도입한다.
• RPN 예측 오차 기반 재가중 전략인 부스팅 재가중 전략을 설계하여 잘못 예측된 RPN 사전이 있는 샘플의 분류 손실을 증가시키고, 정확히 예측된 쉬운 샘플의 손실을 감소시킨다.
• 재가중된 샘플로 R-CNN 헤드를 훈련시켜 흐릿하고 모호한 객체에 대한 강건성을 향상시키고 추론 중 오류 수정 기능을 가능하게 한다.
• 첫 번째 단계의 불확실성과 두 번째 단계의 분류 결과를 융합하여 검출 신뢰도를 정밀하게 조정하고 과신하는 오분류를 줄인다.
• 왜곡과 블러 상황에서도 경계 박스 회귀 정확도를 향상시키기 위해 RetinaRPN에서 FIoU 손실을 사용한다.

실험 결과

연구 질문

• RQ1 어떻게 영역 제안의 불확실성을 효과적으로 모델링하여 수중 환경에서의 검출 신뢰도를 향상시킬 수 있는가?
• RQ2 RPN 예측 오차 기반 재가중 전략이 R-CNN 헤드의 하드하고 모호한 샘플에 대한 강건성에 어느 정도 기여하는가?
• RQ3 불확실성 인식 제안 생성과 확률적 융합 기반의 이중 단계 검출기로 기존 검출기들을 능가할 수 있는가?
• RQ4 부스팅 재가중 전략의 통합이 수중 및 일반 객체 검출 데이터셋 모두에서 검출기의 일반화 능력에 어떤 영향을 미치는가?
• RQ5 각 구성 요소(RetinaRPN, 확률적 추론, 부스팅 재가중)가 전체 검출 성능에 기여하는 정도는 어떠한가?

주요 결과

• Boosting R-CNN은 UTDAC2020 데이터셋에서 mAP 50.7%를 달성하고 Brackish 데이터셋에서 mAP 47.9%를 기록하여 기존 검출기들을 능가하는 최신 기술 수준의 성능을 확보했다.
• ATSS, PAA, DetectoRS와 같은 다른 검출기들이 객체를 놓치는 불균형한 조명, 심한 가림, 유사성 등의 어려운 케이스에서도 모든 진짜값을 성공적으로 탐지했다.
• 제거 분석 결과, 확률적 추론과 부스팅 재가중 전략을 모두 포함한 전체 모델이 과신하는 예측을 줄이고 특히 작은 객체와 흐린 객체에 대해 검출 재현율을 향상시킨다.
• FIoU 손실을 사용한 RetinaRPN은 고품질의 제안을 제공하여 작은 에키니와 복잡한 배경에 숨겨진 객체를 정확하게 탐지할 수 있게 했다.
• 확률적 추론 파이프라인은 기존 모델 대비 과신하는 오분류를 걸러내는 더 합리적인 신뢰도 점수를 생성한다.
• Boosting R-CNN는 일반 객체 검출에 대해서도 잘 일반화되어 Pascal VOC와 MS COCO에서 경쟁 가능한 성능을 달성하여 수중 환경 외부에서도 강건성을 입증했다.