[논문 리뷰] Towards Accurate One-Stage Object Detection with AP-Loss

Kean Chen, Jianguo Li외 7명|arXiv (Cornell University)|2019. 04. 12.

Advanced Neural Network Applications참고 문헌 37인용 수 14

한 줄 요약

이 논문은 한 단계 객체 검출기에서 기존의 분류 손실을 대체하기 위해 새로운 랭킹 기반 손실 함수인 AP-loss를 제안한다. 이는 전경-배경 클래스 불균형 문제를 더 잘 해결하기 위해 고안되었으며, 오차 기반 학습과 역전파를 결합하여 비미분 가능 평균 정밀도 손실을 최적화한다. 이로 인해 아키텍처 변경 없이 COCO, VOC2007, VOC2012 벤치마크에서 최신 기준 mAP 성능 향상을 달성한다.

ABSTRACT

One-stage object detectors are trained by optimizing classification-loss and localization-loss simultaneously, with the former suffering much from extreme foreground-background class imbalance issue due to the large number of anchors. This paper alleviates this issue by proposing a novel framework to replace the classification task in one-stage detectors with a ranking task, and adopting the Average-Precision loss (AP-loss) for the ranking problem. Due to its non-differentiability and non-convexity, the AP-loss cannot be optimized directly. For this purpose, we develop a novel optimization algorithm, which seamlessly combines the error-driven update scheme in perceptron learning and backpropagation algorithm in deep networks. We verify good convergence property of the proposed algorithm theoretically and empirically. Experimental results demonstrate notable performance improvement in state-of-the-art one-stage detectors based on AP-loss over different kinds of classification-losses on various benchmarks, without changing the network architectures. Code is available at https://github.com/cccorn/AP-loss.

연구 동기 및 목표

• 한 단계 객체 검출기에서 심각한 전경-배경 클래스 불균형 문제를 해결함으로써, 분류 손실 최적화가 편향되는 것을 방지한다.
• 기존의 분류 손실(예: Focal Loss, 보정된 손실)의 한계를 극복한다. 이러한 손실들은 샘플을 독립적으로 다루며 수작업으로 설정한 하이퍼파라미터에 의존한다.
• 샘플 간의 관계를 랭킹 작업을 통해 모델링하여, 훈련 목표를 실제 평가 지표(mAP)와 더 가깝게 맞춘다.
• 비미분 가능하고 비볼록인 AP-loss에 대한 효과적인 최적화 방법을 개발한다. 이는 표준 경사하강법에 적합하지 않다.
• 표준 분류 손실을 AP-loss로 대체함으로써, 아키텍처 수정 없이도 다양한 벤치마크에서 일관된 성능 향상을 입증한다.

제안 방법

• 앵커 간의 쌍별 비교를 위한 점수를 출력하는 랭킹 헤드로 한 단계 검출기의 분류 헤드를 대체한다.
• AP의 주요 항목(쌍별 점수 차이에서 유도됨)과 진짜 레이블 벡터 간의 내적을 통해 AP-loss를 구성한다.
• AP-loss의 주요 항목을 계산하기 위해 쌍별 차이에 비미분 가능 '활성화 함수'(스텝 함수)를 도입한다.
• 퍼셉트론 학습에 영감을 얻어 비미분 가능 활성화 함수를 통해 기울기를 전파할 수 있는 새로운 오차 기반 업데이트 방식을 제안한다.
• 오차 기반 업데이트를 역전파와 결합하여 네트워크 가중치로 기울기를 전파하고, 엔드 투 엔드 훈련을 가능하게 한다.
• 다른 방법과의 비교를 위해 추론 연구에서는 스텝 함수의 부드러운 근사값(시그모이드)을 사용하지만, 주요 방법은 오차 기반 업데이트를 사용하는 정확한 비미분 가능 형태를 사용한다.

실험 결과

연구 질문

• RQ1 한 단계 검출기에서 분류 작업을 랭킹 작업으로 대체하면 일반화 성능과 mAP 성능 향상에 기여할 수 있는가?
• RQ2 기울기 기반 딥 러닝 프레임워크에서 비미분 가능한 평균 정밀도(AP) 손실을 효과적으로 최적화할 수 있는가?
• RQ3 제안된 오차 기반 최적화 방법은 근사 기울기 및 구조적 허브 손실 방법과 비교해 수렴 속도와 최종 성능 면에서 어떻게 성능을 내는가?
• RQ4 AP-loss는 아키텍처 수정 없이도 다양한 벤치마크(COCO, VOC2007, VOC2012)에서 검출 성능 향상에 기여하는가?
• RQ5 제안된 방법은 기준 검출기와 유사한 추론 속도를 유지하면서도 최신 기준 성능을 달성할 수 있는가?

주요 결과

• 제안된 AP-loss 방법은 기준 RetinaNet500(37.4% mAP)에 비해 COCO test-dev 세트에서 3.0% 향상된 42.1% mAP를 달성한다.
• VOC2007에서 45.0% mAP를 기록하여 기준 RetinaNet500(38.5% mAP)과 비교해 뛰어난 성능을 보이며, 비교된 모든 다른 한 단계 검출기보다 뛰어난 성능을 낸다.
• VOC2012에서 45.1% mAP를 기록하여 최고의 기준 모델(RefineDet512, ResNet-101 기반, 45.7% mAP)을 초월하며 일관된 성능 향상을 보였다.
• 오차 기반 업데이트 방법은 근사 기울기 및 구조적 허브 손실 방법보다 더 빠르게 수렴하고 더 높은 성능을 달성한다. 이는 수렴하지 못하거나 진짜 AP-loss 한계에 도달하지 못하는 경향이 있다.
• 기준 RetinaNet과 동일한 추론 속도(~11 fps, Titan X 기준)를 유지함으로써, 손실 함수 변경에 따른 계산 오버헤드가 없음을 확인했다.
• 성능 향상은 변형된 기술(예: 변형 가능 컨볼루션, SNIP 등)을 사용하지 않고도 분류 손실을 AP-loss로 단순히 대체함으로써 달성되었으며, 이는 본 방법의 강력한 독립적 효과를 시사한다.