[논문 리뷰] Side-Aware Boundary Localization for More Precise Object Detection

Jiaqi Wang, Wenwei Zhang외 7명|arXiv (Cornell University)|2019. 12. 09.

Advanced Neural Network Applications참고 문헌 67인용 수 20

한 줄 요약

이 논문은 두 단계의 버킷화 방식을 사용하여 각 경계 상자 변을 별도로 회귀하는 방식으로 정밀도를 향상시키는 새로운 객체 검출 방법인 SABL(Side-Aware Boundary Localization)을 제안한다. Faster R-CNN, RetinaNet, Cascade R-CNN에서 표준 회귀를 대체할 경우 각각 3.0%, 1.7%, 0.9%의 AP 향상을 얻으며, 추론 오버헤드는 최소한이다.

ABSTRACT

Current object detection frameworks mainly rely on bounding box regression to localize objects. Despite the remarkable progress in recent years, the precision of bounding box regression remains unsatisfactory, hence limiting performance in object detection. We observe that precise localization requires careful placement of each side of the bounding box. However, the mainstream approach, which focuses on predicting centers and sizes, is not the most effective way to accomplish this task, especially when there exists displacements with large variance between the anchors and the targets. In this paper, we propose an alternative approach, named as Side-Aware Boundary Localization (SABL), where each side of the bounding box is respectively localized with a dedicated network branch. To tackle the difficulty of precise localization in the presence of displacements with large variance, we further propose a two-step localization scheme, which first predicts a range of movement through bucket prediction and then pinpoints the precise position within the predicted bucket. We test the proposed method on both two-stage and single-stage detection frameworks. Replacing the standard bounding box regression branch with the proposed design leads to significant improvements on Faster R-CNN, RetinaNet, and Cascade R-CNN, by 3.0%, 1.7%, and 0.9%, respectively. Code is available at https://github.com/open-mmlab/mmdetection.

연구 동기 및 목표

• 대규모 앵커-타겟 이격 분산이 큰 상황에서 지속적으로 발생하는 경계 상자 회귀의 정밀도 부족 문제를 해결하기 위해.
• 계산 비용이나 파ipeline 복잡도를 크게 증가시키지 않으면서도 정위치 정확도를 향상시키기 위해.
• 각 경계 상자 변을 독립적인 정위치 목표로 간주하고, 변별적 맥락을 활용하는 새로운 설계를 탐색하기 위해.
• 이중 단계, 단일 단계, 캐스케이드 검출기 전반에서 성능 향상을 이끌 수 있는 경량이면서 효과적인 표준 회귀의 대안을 개발하기 위해.

제안 방법

• SABL은 경계 상자 각 변의 경계 컨텐츠에 집중하는 변별적 특징 추출 모듈을 도입한다.
• 두 단계의 정위치 방식을 활용한다: 먼저 각 변의 경계에 대한 군집(범위)을 조건부로 예측한 후, 그 범위 내에서 정확한 위치를 보정한다.
• 버킷화 추정은 여러 사전 정의된 이격 범위 중에서 진짜 경계가 포함된 범위를 예측하는 분류 헤드를 사용한다.
• 정밀 보정은 선택된 버킷 내에서 정확한 오프셋을 예측하여, 높은 분산 이격 상황에서도 정밀도를 향상시킨다.
• 재순위 매기기 메커니즘은 버킷화 신뢰도를 활용해 분류 점수를 조정하여 NMS 중 고품질 검출 결과를 유지한다.
• 최소한의 아키텍처 변경과 약 10%의 추가 추론 시간만으로 Faster R-CNN, RetinaNet, Cascade R-CNN에 통합된다.

실험 결과

연구 질문

• RQ1 통합 중심-크기 회귀 대비 각 변별적 정위치 정밀도 향상이 가능한가?
• RQ2 거친-정밀한 회귀를 갖는 두 단계의 버킷화 방식이 큰 앵커-타겟 이격 상황에서 회귀 분산을 줄이고 정위치를 향상시키는가?
• RQ3 SABL은 이중 단계 및 단일 단계 검출 프레임워크에 효과적으로 적용되어 일관된 성능 향상을 이끌 수 있는가?
• RQ4 버킷화 신뢰도를 분류 점수에 통합할 경우 검출 성능에 어떤 영향을 미치는가?
• RQ5 버킷 수, 척도 인자 등의 하이퍼파라미터 설정은 다양한 검출 아키텍처에서 최적의 성능을 내는가?

주요 결과

• 표준 경계 상자 회귀를 SABL로 대체하면, Faster R-CNN에서는 3.0% 향상, RetinaNet에서는 1.7% 향상, Cascade R-CNN에서는 0.9% 향상된다.
• Faster R-CNN 기반 SABL은 약 10%의 추가 추론 시간으로 COCO test-dev에서 41.8%의 AP를 기록했으며, 기준 모델의 38.8% 대비 향상되었다.
• RetinaNet에서는 추가 추론 비용 없이 AP를 38.8%에서 40.5%로 향상시켰다.
• Cascade R-CNN에서는 AP를 42.4%에서 43.3%로 끌올려 강력한 기준 모델에서도 일관된 성능 향상을 입증했다.
• 모든 IoU 구간에서 IoU가 향상되었으며, 특히 높은 임계값(예: IoU ≥ 0.9)에서 두드러진 정밀도 향상을 보였다.
• Top-1, Top-2, Top-3 버킷 분류 정확도는 각각 69.3%, 90.0%, 95.7%를 기록하여 버킷화 설계의 효과를 뒷받침한다.