[논문 리뷰] IoU-aware Single-stage Object Detector for Accurate Localization

Shengkai Wu, Xiaoping Li외 1명|arXiv (Cornell University)|2019. 12. 12.

Advanced Neural Network Applications참고 문헌 32인용 수 14

한 줄 요약

이 논문은 각 검출 박스에 대한 교차합집합(Intersection over Union, IoU)을 예측하고 분류 점수와 예측된 IoU의 곱을 검출 신뢰도로 사용함으로써 국소화 정확도를 향상시키는 IoU 인식(single-stage) 객체 검출기의 새로운 방법을 제안한다. 이 방법은 NMS와 COCO AP 계산을 개선하여 COCO에서 1.7–1.9% 높은 AP와 2.2–2.5% 높은 AP75를 달성하고, PASCAL VOC에서 효율성을 희생하지 않고도 2.9–4.4% 높은 AP를 기록한다.

ABSTRACT

Due to the simpleness and high efficiency, single-stage object detectors have been widely applied in many computer vision applications . However, the low correlation between the classification score and localization accuracy of the predicted detections has severely hurt the localization accuracy of models. In this paper, IoU-aware single-stage object detector is proposed to solve this problem. Specifically, IoU-aware single-stage object detector predicts the IoU for each detected box. Then the classification score and predicted IoU are multiplied to compute the final detection confidence, which is more correlated with the localization accuracy. The detection confidence is then used as the input of the subsequent NMS and COCO AP computation, which will substantially improve the localization accuracy of models. Sufficient experiments on COCO and PASCAL VOC datasets demonstrate the effectiveness of IoU-aware single-stage object detector on improving model's localization accuracy. Without whistles and bells, the proposed method can substantially improve AP by $1.7\%\sim1.9\%$ and AP75 by $2.2\%\sim2.5\%$ on COCO extit{test-dev}. On PASCAL VOC, the proposed method can substantially improve AP by $2.9\%\sim4.4\%$ and AP80, AP90 by $4.6\%\sim10.2\%$. Code is available here: {https://github.com/ShengkaiWu/IoU-aware-single-stage-object-detector}.

연구 동기 및 목표

• 단일 단계 객체 검출기에서 분류 점수와 국소화 정확도 간의 낮은 상관관계가 평균 정밀도를 떨어뜨리는 문제를 해결하기 위해.
• 예측된 IoU를 통해 국소화 정확도를 통합함으로써 NMS 및 AP 계산에서 검출 신뢰도 순서를 향상시키기 위해.
• 단일 단계 검출기의 효율성을 유지하면서 국소화 성능을 크게 향상시키기 위해.
• 예측된 IoU와 진짜값 IoU 사이의 격차를 분석하여未래 개선을 위한 여지를 규명하기 위해.

제안 방법

• RetinaNet의 회귀 지점 최종 레이어에서 회귀 헤드와 병렬로 추가적인 IoU 예측 헤드를 도입한다.
• 학습 중에 IoU 헤드는 분류 헤드 및 회귀 헤드와 함께 독립적인 손실 함수를 사용하여 동시에 최적화된다.
• 추론 중에 각 박스에 대해 분류 점수와 예측된 IoU의 곱으로 검출 신뢰도를 계산한다.
• IoU 인식 신뢰도 점수는 NMS에서 검출 결과의 순서 정렬과 COCO AP 계산에 사용되어 국소화 정확도와의 일치도를 향상시킨다.
• 표준 평가 지표인 AP, AP75, AP80, AP90를 사용하여 MS COCO 및 PASCAL VOC 데이터셋에서 평가한다.
• 제거 분석을 통해 예측된 IoU와 진짜값 IoU를 비교하여 예측과 실제 국소화 품질 간 격차를 분석한다.

실험 결과

연구 질문

• RQ1 분류 점수와 국소화 정확도 간의 상관관계가 단일 단계 검출기의 검출 성능에 어떤 영향을 미치는가?
• RQ2 각 검출 결과에 대해 IoU를 예측하면 NMS 및 AP 계산에서 검출 순서를 향상시킬 수 있는가?
• RQ3 예측된 IoU와 진짜값 IoU 사이의 성능 격차는 무엇이며, 이는 모델 향상에 어떤 제약을 끼치는가?
• RQ4 IoU 인식 신뢰도 순서 정렬이 국소화 지표인 AP75, AP80, AP90에서 측정 가능한 성능 향상으로 이어지는가?

주요 결과

• IoU 인식 검출기는 COCO test-dev 세트에서 AP를 1.7–1.9% 향상시키고, AP75를 2.2–2.5% 향상시켰다.
• PASCAL VOC에서는 AP가 2.9–4.4% 향상되었으며, AP80와 AP90는 각각 4.6–10.2% 향상되었다.
• 예측된 IoU는 진짜값 IoU와는 중간 정도의 상관관계를 보이며, 향후 성능 향상에 제약을 놓는 큰 격차가 있음을 시사한다.
• 추론 중에 진짜값 IoU를 사용할 경우 검출 신뢰도와 국소화 정확도 간 강한 상관관계가 나타나, 이는 제안된 방법의 설계 논리가 타당함을 확인한다.
• 높은 국소화 정확도이지만 낮은 분류 점수를 가진 검출 결과는 기존 RetinaNet에서는 낮은 신뢰도로 인해 억제되지만, IoU 인식 버전에서는 더 잘 유지된다.
• 저 IoU_eval(0–0.3)이지만 높은 IoU_truth를 가진 검출 결과 중 상당수는 분류 오류로 인해 잘못 분류된 것으로 밝혀져, 국소화는 잘 되었음에도 불구하고 분류 오류가 지속됨을 시사한다.