[논문 리뷰] Softer-NMS: Rethinking Bounding Box Regression for Accurate Object Detection.

Yihui He, Xiangyu Zhang외 2명|arXiv (Cornell University)|2018. 09. 23.

Advanced Neural Network Applications참고 문헌 34인용 수 65

한 줄 요약

이 논문은 객체 검출 정확도를 향상시키기 위해 국소화 분산과 변환을 동시에 학습하는 새로운 바운딩 박스 회귀 손실인 Softer-NMS를 제안한다. 이 분산을 수정된 NMS에 활용함으로써, VGG-16 Faster R-CNN 기반 MS-COCO에서 AP를 23.6%에서 29.1%로 향상시키며, ResNet-50 FPN Faster R-CNN의 경우 AP를 36.8%에서 37.8%로 끌어올려 최소한의 계산 비용으로 최신 기술 수준의 국소화 정밀도를 달성한다.

ABSTRACT

Non-maximum suppression (NMS) is essential for state-of-the-art object detectors to localize object from a set of candidate locations. However, accurate candidate location sometimes is not associated with a high classification score, which leads to object localization failure during NMS. In this paper, we introduce a novel bounding box regression loss for learning bounding box transformation and localization variance together. The resulting localization variance exhibits a strong connection to localization accuracy, which is then utilized in our new non-maximum suppression method to improve localization accuracy for object detection. On MS-COCO, we boost the AP of VGG-16 faster R-CNN from 23.6% to 29.1% with a single model and nearly no additional computational overhead. More importantly, our method is able to improve the AP of ResNet-50 FPN fast R-CNN from 36.8% to 37.8%, which achieves state-of-the-art bounding box refinement result.

연구 동기 및 목표

• 높은 정밀도의 바운딩 박스가 낮은 분류 점수를 가질 경우 비최대 억제(NMS)에서 국소화 실패 문제를 해결하기 위해.
• 국소화 정확도와 검출 신뢰도 간의 관계를 모델링하여 국소화 정확도를 향상시키기 위해.
• 학습된 국소화 분산을 활용해 더 정확한 후보자를 더 효과적으로 억제하는 새로운 NMS 변종을 개발하기 위해.
• 최소한의 계산 오버헤드로 최신 기술 수준의 바운딩 박스 정밀도를 달성하기 위해.

제안 방법

• 박스 변환과 국소화 분산을 동시에 최적화하는 새로운 바운딩 박스 회귀 손실을 도입한다.
• 실제 국소화 정확도와 강하게 상관관계를 가지는 가속 가능한 국소화 분산 성분을 모델링한다.
• 추론 중에 예측된 분산을 사용하여 NMS의 억제 결정에 가중치를 적용함으로써 더 정확한 박스를 우선시한다.
• 표준 NMS 메커니즘을 수정하여 예측된 국소화 분산의 역수에 가중치를 적용한 IoU 기반 억제를 적용한다.
• 모델을 엔드 투 엔드로 훈련하여 분류 및 국소화의 강건성을 모두 향상시킨다.
• 아키텍처 변경 없이 표준 검출기인 Faster R-CNN 및 Faster R-CNN with FPN에 적용한다.

실험 결과

연구 질문

• RQ1 훈련 중에 국소화 분산을 학습함으로써 NMS의 강건성이 객체 검출에서 향상될 수 있는가?
• RQ2 분류 점수만으로는 부족한 실제 국소화 정확도를 더 잘 반영할 수 있는 학습된 분산 메트릭이 존재하는가?
• RQ3 비용 증가 없이 분산 인식 NMS 메커니즘을 통해 국소화 오류를 줄일 수 있는가?
• RQ4 표준 벤치마크에서 표준 NMS와 비교해 제안된 방법이 AP 및 국소화 정밀도 측면에서 어떻게 성능을 내는가?

주요 결과

• Softer-NMS는 단일 모델을 사용하여 VGG-16 Faster R-CNN의 MS-COCO에서 AP를 23.6%에서 29.1%로 향상시키며, 추가 계산 비용 없이 성능 향상을 달성한다.
• 이 방법은 ResNet-50 FPN Faster R-CNN에서 1.0%의 AP 향상을 기록하여 36.8%에서 37.8%로 향상시키며, 바운딩 박스 정밀도 분야에서 새로운 최신 기술 수준을 수립한다.
• 학습된 국소화 분산은 실제 국소화 정확도와 강한 상관관계를 보이며, NMS에서 보다 나은 억제 결정을 가능하게 한다.
• 최소한의 계산 오버헤드로 성능 향상을 달성하여 실세계 적용에 실용적이다.