[논문 리뷰] OneNet: Towards End-to-End One-Stage Object Detection.

Peize Sun, Yi Jiang외 4명|arXiv (Cornell University)|2020. 12. 10.

Advanced Neural Network Applications참고 문헌 22인용 수 21

한 줄 요약

이 논문은 비용 기반 레이블 할당 방법인 Minimum Cost Assignment를 제안하여 분류 비용과 위치 비용을 통합함으로써 NMS가 필요 없는 종단 간 일단계 객체 검출을 가능하게 한다. 각 진짜 박스에 대해 총 비용이 최소인 샘플만 할당함으로써 OneNet은 중복된 고신뢰도 박스를 제거하며, 입력 크기가 512×512일 때 COCO에서 80 FPS에서 35.0 AP, 50 FPS에서 37.7 AP를 달성한다.

ABSTRACT

End-to-end one-stage object detection trailed thus far. This paper discovers that the lack of classification cost between sample and ground-truth in label assignment is the main obstacle for one-stage detectors to remove Non-maximum Suppression(NMS) and reach end-to-end. Existing one-stage object detectors assign labels by only location cost, e.g. box IoU or point distance. Without classification cost, sole location cost leads to redundant boxes of high confidence scores in inference, making NMS necessary post-processing. To design an end-to-end one-stage object detector, we propose Minimum Cost Assignment. The cost is the summation of classification cost and location cost between sample and ground-truth. For each object ground-truth, only one sample of minimum cost is assigned as the positive sample; others are all negative samples. To evaluate the effectiveness of our method, we design an extremely simple one-stage detector named OneNet. Our results show that when trained with Minimum Cost Assignment, OneNet avoids producing duplicated boxes and achieves to end-to-end detector. On COCO dataset, OneNet achieves 35.0 AP/80 FPS and 37.7 AP/50 FPS with image size of 512 pixels. We hope OneNet could serve as an effective baseline for end-to-end one-stage object detection. The code is available at: \url{this https URL}.

연구 동기 및 목표

• NMS 없이 종단 간 성능을 달성하는 데 있어 일단계 검출기에서 분류 비용의 부재가 핵심 장애물임을 해결하기 위해.
• 기존 일단계 검출기에서 위치 비용에만 의존함으로써 발생하는 중복된 고신뢰도 예측을 제거하기 위해.
• 분류 비용과 위치 비용을 레이블 할당에 통합함으로써 종단 간 추론을 가능하게 하는 단순하고 효과적인 일단계 검출기(OneNet)를 설계하기 위해.
• 적절한 비용 기반 레이블 할당을 통해 종단 간 일단계 검출이 가능함을 입증하고,未래 연구를 위한 새로운 기준을 설정하기 위해.

제안 방법

• 샘플과 진짜 박자 간의 비용이 분류 비용과 위치 비용의 합이 되는 Minimum Cost Assignment를 제안한다.
• 분류 비용(예: 교차 엔트로피)과 위치 비용(예: IoU 또는 점 거리)을 사용하여 샘플-진짜 박자 쌍을 평가한다.
• 각 진짜 박자에 대해 총 비용이 최소인 샘플만 양성으로 할당하고, 나머지는 음성으로 레이블링한다.
• 제안된 레이블 할당 방법을 평가하기 위해 OneNet이라는 매우 단순한 일단계 검출기 아키텍처를 도입한다.
• 기본적인 일단계 헤드를 사용하고 앵커리스 설계를 채택하며, 학습에 비용 기반 할당에 의존한다.
• 비용 최소화를 통해 각 객체에 대해 하나의 고품질 예측만 보장함으로써 추론 시 NMS가 필요 없도록 한다.

실험 결과

연구 질문

• RQ1 레이블 할당을 개선함으로써 NMS 없이 종단 간 일단계 객체 검출을 달성할 수 있는가?
• RQ2 레이블 할당에 분류 비용을 통합하면 일정한 단계 검출기에서 중복된 고신뢰도 예측이 감소하는가?
• RQ3 OneNet과 같은 단순한 검출기가 비용 기반 할당을 통해 NMS를 제거하면서도 경쟁력 있는 정확도를 달성할 수 있는가?
• RQ4 레이블 할당에서 분류 비용과 위치 비용의 조합이 검출 성능와 추론 속도에 어떤 영향을 미치는가?
• RQ5 Minimum Cost Assignment는 일정한 단계 검출기에서 종단 간 학습과 추론을 가능하게 하는 데에 충분한가?

주요 결과

• OneNet은 입력 크기가 512×512일 때 COCO에서 80 FPS에서 35.0 AP, 50 FPS에서 37.7 AP를 달성하여 NMS 없이도 뛰어난 성능을 보였다.
• 제안된 Minimum Cost Assignment는 기존 표준 일정한 단계 검출기에서 NMS가 필요로 하는 중복된 고신뢰도 박자를 성공적으로 제거하였다.
• 분류 비용을 레이블 할당에 통합함으로써 모델은 각 객체에 대해 다수의 예측에서의 과신뢰를 방지하고 종단 간 추론을 가능하게 하였다.
• 이 방법은 단순한 검출기(OneNet)가 추론 속도에서 종단 간 일정한 단계 검출의 최신 기준에 도달할 수 있도록 하였다.
• 결과적으로, 레이블 할당에서 분류 비용의 부재가 일정한 단계 검출기가 NMS가 필요로 하는 주요 원인임을 검증하였으며, 이 비용의 통합이 종단 간 운영을 가능하게 한다.
• 코드는 공개되어 있어 향후 종단 간 일정한 단계 객체 검출 분야의 연구에 강력한 기반을 제공한다.