[논문 리뷰] Improvement of Classification in One-Stage Detector

Kehe Wu, Zuge Chen외 2명|arXiv (Cornell University)|2020. 11. 20.

Advanced Neural Network Applications참고 문헌 26인용 수 4

한 줄 요약

이 논문은 RetinaNet와 같은 one-stage 검출기에서 분류와 위치 지정 간의 부일치 문제를 해결하기 위해 객체 신뢰도 작업을 제안한다. 분류와 공유된 특징을 사용하고, 양성 샘플에 대해 IoU를 타겟으로 삼음으로써 분류 정확도와 NMS 성능을 햖थ, 동일한 학습 설정에서 ResNet50 기준 +0.7% AP, ResNet101 기준 +1.0% AP의 성능 향상을 달성한다.

ABSTRACT

RetinaNet proposed Focal Loss for classification task and improved one-stage detectors greatly. However, there is still a gap between it and two-stage detectors. We analyze the prediction of RetinaNet and find that the misalignment of classification and localization is the main factor. Most of predicted boxes, whose IoU with ground-truth boxes are greater than 0.5, while their classification scores are lower than 0.5, which shows that the classification task still needs to be optimized. In this paper we proposed an object confidence task for this problem, and it shares features with classification task. This task uses IoUs between samples and ground-truth boxes as targets, and it only uses losses of positive samples in training, which can increase loss weight of positive samples in classification task training. Also the joint of classification score and object confidence will be used to guide NMS. Our method can not only improve classification task, but also ease misalignment of classification and localization. To evaluate the effectiveness of this method, we show our experiments on MS COCO 2017 dataset. Without whistles and bells, our method can improve AP by 0.7% and 1.0% on COCO validation dataset with ResNet50 and ResNet101 respectively at same training configs, and it can achieve 38.4% AP with two times training time. Code is at: http://github.com/chenzuge1/RetinaNet-Conf.git.

연구 동기 및 목표

• RetinaNet에서 Focal Loss를 사용하고도 one-stage와 two-stage 검출기 간의 지속적인 성능 격차를 해결하기 위해.
• RetinaNet에서 높은 IoU 위치 지정과 낮은 분류 점수 간의 부일치 원인을 규명하기 위해.
• 분류와 공유된 특징을 사용하는 새로운 보조 작업을 도입하여 분류 성능을 향상시키기 위해.
• 분류 점수와 객체 신뢰도를 함께 사용하여 위치 지정과 분류 간의 부일치를 줄이기 위해 NMS에서.
• 구조적 변경이나 추가 학습 트릭 없이도 더 높은 검출 정확도를 달성하기 위해.

제안 방법

• 분류 헤드와 공유된 특징을 사용하여 앵커 박스와 진짜 박스 간의 IoU를 예측하는 객체 신뢰도 작업을 도입한다.
• 오직 양성 샘플(IoU > 0.5)을 사용하여 객체 신뢰도 손실을 계산하고, 고품질 양성 샘플에 대해 손실 가중치를 높인다.
• 분류 헤드와 함께 객체 신뢰도 헤드를 병합된 손실 목표 함수를 사용해 동시에 학습시킨다.
• 비최대 억제(NMS)의 최종 점수로 분류 점수와 객체 신뢰도의 곱을 사용한다.
• 데이터 증강이나 하이퍼파라미터 튜닝 없이 RetinaNet와 동일한 학습 구성 설정을 적용한다.
• MS COCO 2017에서 공정한 비교를 위해 동일한 백본 네트워크(ResNet50 및 ResNet101)를 사용한다.

실험 결과

연구 질문

• RQ1 RetinaNet가 Focal Loss를 사용하고도 왜 여전히 two-stage 검출기보다 성능이 열등한가?
• RQ2 위치 지정과 분류 간의 부일치가 one-stage 검출기 성능에 얼마나 큰 영향을 미치는가?
• RQ3 IoU를 예측하는 보조 객체 신뢰도 작업을 도입하면 분류 정확도 향상과 부일치 감소에 기여하는가?
• RQ4 분류 점수와 객체 신뢰도를 결합하여 NMS 품질과 최종 AP를 향상시킬 수 있는가?
• RQ5 이 방법은 구조적 변경이나 추가 학습 트릭 없이도 성능 향상을 달성할 수 있는가?

주요 결과

• 동일한 학습 설정에서 ResNet50를 사용할 경우, MS COCO 2017 검증 세트에서 AP가 0.7% 향상된다.
• 기본 RetinaNet와 동일한 학습 설정에서 ResNet101를 사용할 경우, 1.0%의 AP 향상이 달성된다.
• 객체 신뢰도 헤드가 높은 IoU 박자와 낮은 분류 점수 간의 부일치를 효과적으로 줄인다.
• NMS에서 분류 점수와 객체 신뢰도를 함께 사용함으로써 더 나은 검출 박자 선택이 가능해진다.
• 학습 시간을 두 배로 늘였을 때도 COCO에서 38.4%의 AP를 기록하여 강력한 확장성 잠재력을 보여준다.
• 구조적 수정이나 추가 데이터 증강 없이도 성능 향상이 달성된다.