[논문 리뷰] IoU-balanced Loss Functions for Single-stage Object Detection

Shengkai Wu, Jinrong Yang외 2명|arXiv (Cornell University)|2019. 08. 15.

Advanced Neural Network Applications인용 수 15

한 줄 요약

이 논문은 단일 단계 객체 검출기에서 분류 및 회귀 작업의 일치를 향상시켜 정위치 정확도를 향상시키기 위해 IoU-균형 손실 함수를 제안한다. IoU-균형 분류 손실은 높은 IoU를 가진 양성 샘플을 우선시하고, IoU-균형 회귀 손실은 낮은 IoU 예측의 기울기를 감소시켜, COCO에서 최대 1.7%의 AP 및 2.4%의 AP75 향상을 달성한다.

ABSTRACT

Single-stage object detectors have been widely applied in computer vision applications due to their high efficiency. However, we find that the loss functions adopted by single-stage object detectors hurt the localization accuracy seriously. Firstly, the standard cross-entropy loss for classification is independent of the localization task and drives all the positive examples to learn as high classification scores as possible regardless of localization accuracy during training. As a result, there will be many detections that have high classification scores but low IoU or detections that have low classification scores but high IoU. Secondly, for the standard smooth L1 loss, the gradient is dominated by the outliers that have poor localization accuracy during training. The above two problems will decrease the localization accuracy of single-stage detectors. In this work, IoU-balanced loss functions that consist of IoU-balanced classification loss and IoU-balanced localization loss are proposed to solve the above problems. The IoU-balanced classification loss pays more attention to positive examples with high IoU and can enhance the correlation between classification and localization tasks. The IoU-balanced localization loss decreases the gradient of examples with low IoU and increases the gradient of examples with high IoU, which can improve the localization accuracy of models. Extensive experiments on challenging public datasets such as MS COCO, PASCAL VOC and Cityscapes demonstrate that both IoU-balanced losses can bring substantial improvement for the popular single-stage detectors, especially for the localization accuracy. On COCO test-dev, the proposed methods can substantially improve AP by $1.0\%\sim1.7\%$ and AP75 by $1.0\%\sim2.4\%$. On PASCAL VOC, it can also substantially improve AP by $1.3\%\sim1.5\%$ and AP80, AP90 by $1.6\%\sim3.9\%$.

연구 동기 및 목표

• 높은 분류 점수와 정확한 바운딩 박스 간의 상관관계가 없는 단일 단계 검출기에서의 분류와 정위치 간의 불일치를 해결한다.
• 표준 크로스 엔트로피 손실과 스무스 L1 손실이 훈련 중 IoU를 忽시하여 정위치 성능이 떨어지는 점을 규명한다.
• 분류 신뢰도와 정위치 품질 간의 상관관계를 향상시키기 위해 명시적으로 IoU를 통합한 통합 손실 프레임워크를 제안한다.
• 역전파 중 낮은 IoU를 가진 어려운 정위치 예측의 영향을 줄임으로써 모델의 일반화 능력과 강인성을 향상시킨다.

제안 방법

• 지표 박스와의 IoU에 따라 양성 샘플의 가중치를 재조정하는 IoU-균형 분류 손실을 도입하여 높은 IoU를 가진 양성 샘플에 더 높은 가중치를 할당한다.
• IoU에 따라 기울기를 스케일링하는 IoU-균형 회귀 손실을 설계하여 낮은 IoU 예측의 영향을 감소시키고, 높은 IoU 예측의 기울기를 증폭시킨다.
• 분류 손실에서 IoU-가중치 분포의 날카기 정도를 제어하기 위해 학습 가능한 온도 파rameter를 사용한다.
• 아키텍처 변경 없이 RetinaNet 및 YOLO와 같은 표준 단일 단계 검출기 내에서 손실을 적용한다.
• 표준 최적화를 사용하여 엔드 투 엔드로 훈련하며, 새로운 손실이 표준 크로스 엔트로피 및 스무스 L1 손실을 대체한다.
• 역전파 중 기울기 흐름을 유지하면서 고품질 검출 결과에 초점을 맞춘다.

실험 결과

연구 질문

• RQ1 분류 훈련 중 IoU를 忽시할 경우 단일 단계 검출기의 정위치 성능에 어떤 영향을 미치는가?
• RQ2 양성 샘플을 그들의 IoU에 따라 재가중하는 것으로 분류 신뢰도와 정위치 정확도 간의 상관관계를 얼마나 향상시킬 수 있는가?
• RQ3 낮은 IoU 예측을 가중치를 낮추도록 회귀 손실을 수정하면 더 나은 회귀 수렴 및 일반화 성능을 달성할 수 있는가?
• RQ4 IoU-균형 손실이 COCO, PASCAL VOC, Cityscapes와 같은 표준 검출 벤치마크에 어떤 영향을 미치는가?
• RQ5 제안된 방법이 AP와 AP75를 모두 향상시켜 평균 및 높은 IoU 정위치 성능 향상을 보이는가?

주요 결과

• MS COCO test-dev에서 제안된 IoU-균형 손실은 여러 단일 단계 검출기에서 AP를 1.0%에서 1.7%까지 향상시키고, AP75는 1.0%에서 2.4%까지 향상시켰다.
• PASCAL VOC에서 이 방법은 AP를 1.3%에서 1.5%까지 향상시키며, AP90는 최대 3.9% 향상되어 높은 IoU 정위치 성능 향상이 뚜렷했다.
• IoU-균형 회귀 손실은 훈련 중 정위치 정확도가 떨어지는 이상치의 영향을 크게 감소시켰다.
• IoU-균형 분류 손실은 분류 신뢰도와 IoU 간의 상관관계를 향상시켜 높은 점수를 받지만 정위치 품질이 낮은 오분류를 줄였다.
• 다양한 백본 아키텍처와 검출 헤드에서 일관된 성능 향상이 나타나 모델 간 일반화 능력이 뛰어났다.
• 구조적 변경 없이 추가 추론 비용 없이 성능 향상을 달성하여 실세계 적용에 실용적이다.