[논문 리뷰] Empirical Upper Bound in Object Detection and More

Ali Borji, Seyed Mehdi Iranmanesh|arXiv (Cornell University)|2019. 11. 27.

Advanced Neural Network Applications참고 문헌 60인용 수 19

한 줄 요약

이 논문은 VOC에서 91.6%, COCO에서 78.2%, OpenImages V4에서 58.9%의 객체 검출 mAP에 대한 경험적 상한선을 설정하여 현재 모델과 이론적 한계 사이의 상당한 격차를 입증한다. 주요 장애 요인으로 분류 오류, 특히 소형 객체에서 두드러지게 나타나며, 블러나 수직 반전과 같은 변환에 대한 저항력 부족을 드러내며, 인식이 검출의 核심 과제임을 확인한다.

ABSTRACT

Object detection remains as one of the most notorious open problems in computer vision. Despite large strides in accuracy in recent years, modern object detectors have started to saturate on popular benchmarks raising the question of how far we can reach with deep learning tools and tricks. Here, by employing 2 state-of-the-art object detection benchmarks, and analyzing more than 15 models over 4 large scale datasets, we I) carefully determine the upperbound in AP, which is 91.6% on VOC (test2007), 78.2% on COCO (val2017), and 58.9% on OpenImages V4 (validation), regardless of the IOU. These numbers are much better than the mAP of the best model1 (47.9% on VOC, and 46.9% on COCO; IOUs=.5:.95), II) characterize the sources of errors in object detectors, in a novel and intuitive way, and find that classification error (confusion with other classes and misses) explains the largest fraction of errors and weighs more than localization and duplicate errors, and III) analyze the invariance properties of models when surrounding context of an object is removed, when an object is placed in an incongruent background, and when images are blurred or flipped vertically. We find that models generate boxes on empty regions and that context is more important for detecting small objects than larger ones. Our work taps into the tight relationship between recognition and detection and offers insights for building better models.

연구 동기 및 목표

• IoU에 관계없이 주요 벤치마크에서 객체 검출의 평균 정밀도(mAP)에 대한 경험적 상한선을 규명하기 위해.
• 성능 저하를 초래하는 주요 오류 유형—분류, 위치 지정, 중복, 누락—을 특정하고 정량화하기 위해.
• 이미지 변환(예: 블러, 수직 반전, 맥락 제거)에 대한 객체 검출기의 불변성 평가하기 위해.
• 주변 맥락이나 겹치는 박스가 검출 성능의 상한선을 향상시키는지 평가하기 위해.
• 객체 검출에서 모델의 약점을 진단하기 위한 일반화 가능한 진단 도구 제공하기 위해.

제안 방법

• 경험적 상한선(UAP)은 지표 상자에 대한 지도 학습된 최신 이미지 인식 모델을 사용하여 테스트 세트 객체의 클래스 레이블을 예측하고, 이러한 예측에서 mAP를 계산함으로써 추정된다.
• 오류 유형은 특정 오류 모드(예: 잘못된 분류, 누락 검출)를 테스트 세트에 인위적으로 도입하거나 분리했을 때 성능 저하를 측정하여 정량화된다.
• 내성은 코너, 블러, 수직 반전, 부적절한 배경을 적용한 후 여러 모델의 mAP 감소를 측정하여 평가된다.
• 맥락 영향 분석은 주변 이미지 맥락 유무를 비교하여 검출 성능을 분석함으로써 수행된다.
• 오류 기여도를 검출 작업 전반에서 분리하여 체계적으로 모델의 약점을 평가할 수 있는 진단 도구가 개발된다.
• 모델은 네 개의 대규모 데이터셋—VOC(test2007), COCO(val2017), OpenImages V4(검증), 그리고 부적절한 배경을 가진 객체로 구성된 커스텀 데이터셋—에서 평가된다.

실험 결과

연구 질문

• RQ1 IoU에 관계없이 주요 벤치마크에서 객체 검출의 mAP에 대한 경험적 상한선은 무엇인가?
• RQ2 분류, 위치 지정, 중복, 누락 검출 중 어떤 오류 유형이 검출 성능 저하에 가장 크게 기여하는가?
• RQ3 블러, 수직 반전, 스케일 변화와 같은 이미지 변환에 대해 객체 검출기는 어떻게 성능을 내는가?
• RQ4 주변 맥락이나 겹치는 박스가 검출 성능의 상한선을 향상시키는가?
• RQ5 현재 검출 모델이 분포 외 이미지 편향에 얼마나 일반화되는가?

주요 결과

• VOC(test2007)에서 경험적 상한선 mAP는 91.6%, COCO(val2017)에서는 78.2%, OpenImages V4(검증)에서는 58.9%이며, 이는 COCO에서 보고된 최고 모델 mAP 51.0%보다 뚜렷이 높다.
• 분류 오류(잘못된 분류 및 누락 검출 포함)는 국소화나 중복 검출 오류보다 성능 저하에 더 큰 기여를 한다.
• 소형 객체는 특히 스케일 변화나 변환에 취약하여 스케일이 주요 장애 요인임을 시사한다.
• 모델은 공백 영역이나 부적절한 배경에서 잘못된 양성 결과를 생성하여 맥락적 추론에 대한 의존도가 낮음을 보여준다.
• 수직 반전과 가우시안 블러는 mAP를 상당히 감소시키며, 일부 경우 최대 60%까지 감소시키며 기하학적 및 외관 변화에 대한 저항력 부족을 드러낸다.
• 최고 성능을 보인 모델들(예: FCOS, RetinaNet)도 여전히 UAP에서 15–30%포인트 정도 성능이 떨어지며, 특히 소형 객체에서 더 나은 인식 통합이 가능할 잠재력이 있음을 시사한다.