[논문 리뷰] Shift Equivariance in Object Detection

Marco Manfredi, Yu Wang|arXiv (Cornell University)|2020. 08. 13.

Advanced Neural Network Applications참고 문헌 28인용 수 5

한 줄 요약

이 논문은 소수의 이미지 이동에 따른 평균 평균 정밀도 변화를 측정하여 객체 검출 모델에서의 이동 등장성 불변성(shift equivariance)을 정량화하는 데 사용되는 새로운 평가 지표인 AP 변동도(ΔAP)를 소개한다. 연구 결과 현대의 검출기—일단계 및 이단계 모두—조금의 이동(예: 1픽셀)에도 심각한 성능 저하를 보이며, 블러 풀링과 테스트 시 시간 증강 기법은 도움이 되지만, 어느 것도 완전한 이동 등장성 불변성을 달성하지 못한다.

ABSTRACT

Robustness to small image translations is a highly desirable property for object detectors. However, recent works have shown that CNN-based classifiers are not shift invariant. It is unclear to what extent this could impact object detection, mainly because of the architectural differences between the two and the dimensionality of the prediction space of modern detectors. To assess shift equivariance of object detection models end-to-end, in this paper we propose an evaluation metric, built upon a greedy search of the lower and upper bounds of the mean average precision on a shifted image set. Our new metric shows that modern object detection architectures, no matter if one-stage or two-stage, anchor-based or anchor-free, are sensitive to even one pixel shift to the input images. Furthermore, we investigate several possible solutions to this problem, both taken from the literature and newly proposed, quantifying the effectiveness of each one with the suggested metric. Our results indicate that none of these methods can provide full shift equivariance. Measuring and analyzing the extent of shift variance of different models and the contributions of possible factors, is a first step towards being able to devise methods that mitigate or even leverage such variabilities.

연구 동기 및 목표

• 자율주행과 같은 안전이 중요한 응용 분야에서 이동 등장성 불변성에 대한 정량적 평가 부족 문제를 해결하기 위해.
• 최근의 객체 검출 아키텍처가 얼마나 작은 이미지 이동(최소 1픽셀)에 영향을 받는지 조사하기 위해.
• 다양한 아키텍처적 기법과 데이터 증강 기법이 이동 등장성 불변성 향상에 얼마나 효과적인지 평가하기 위해.
• 검출 모델에서 이동 등장성 불변성을 측정하기 위한 표준화된 종단 간(end-to-end) 평가 파이프라인 수립하기 위해.

제안 방법

• 이동된 이미지 세트에서 평균 평균 정밀도(mAP)의 하한과 상한을 계산하기 위한 탐욕적 탐색 알고리즘을 제안하며, 이 두 값의 차이를 ΔAP로 정의한다.
• 검증 이미지에 최대 ±1픽셀 이내의 소규모 이동을 적용하고, 검출기 성능을 재평가하여 mAP의 변동성을 측정한다.
• 비최대 억제(NMS)를 통해 여러 이동된 버전의 각 이미지에 대한 예측을 집계하는 방식으로 테스트 시 시간 증강(TTA)을 적용한다.
• 블러 풀링(안티앨리어싱)과 출력 특징 해상도의 밀도 증가를 포함한 아키텍처 수정을 통해 내성 강도를 향상시키는 방법을 평가한다.
• 촬영자의 편향이 있는 COCO 및 DOTA 데이터셋을 사용하여 이동 변동성에 미치는 영향을 평가한다.
• 항공사진 데이터셋인 DOTA와 COCO 데이터셋을 모두 활용하여, 앵커 기반 및 앵커 없는 설정에서 표준 객체 검출 모델(RetinaNet, Faster R-CNN, CenterNet)을 평가함으로써 광범위한 적용 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 현대의 객체 검출기는 1픽셀 정도의 작은 이미지 이동에도 얼마나 민감한가?
• RQ2 일단계 및 이단계 검출기 간, 앵커 기반 및 앵커 없는 아키텍처 간 이동 변동성은 어떻게 다를까?
• RQ3 블러 풀링, 특징 맵의 밀도 증가, 또는 테스트 시 시간 증강과 같은 기존 기법들이 객체 검출에서 이동 변동성을 효과적으로 줄일 수 있는가?
• RQ4 COCO와 같은 데이터셋에서의 촬영자의 편향이 이동 등장성 불변성에 상당한 영향을 미치는가?
• RQ5 테스트 시 시간 증강을 활용하여 이동 변동성을 악용하고 성능 향상을 이룰 수 있는가?

주요 결과

• 검토된 모든 객체 검출기(RetinaNet, Faster R-CNN, CenterNet)는 1픽셀 이동 시 심각한 성능 저하를 보이며, 다양한 모델과 데이터셋 간 ΔAP 값은 2.2에서 8.1까지 변동한다.
• COCO 데이터셋에서 CenterNet는 ΔAP = 3.4 및 ΔAP₅₀ = 8.1을 기록하여 작은 이동에 매우 민감한 것으로 나타났다.
• 블러 풀링은 일단계 및 이단계 검출기 모두에서 ΔAP를 약 30% 감소시켜 내성 강도 향상에 유의미한 개선 효과를 보였다.
• 출력 특징 해상도를 밀도 있게 만드는 것은 ΔAP₅₀에 대해 작은 그러나 일관된 개선 효과를 보이며, 이는 이동 등장성 불변성 향상에 약간의 이점이 있음을 시사한다.
• 촬영자의 편향이 없는 항공사진 데이터셋인 DOTA에서조차도 모델들은 여전히 심각한 이동 변동성을 보이며, 이는 문제의 근본 원인이 데이터셋 편향이 아니라는 것을 시사한다.
• 테스트 시 시간 증강은 CenterNet의 mAP를 최대 1.0(AP) 및 2.2(AP₅₀) 향상시키며, 이는 이동 변동성을 활용해 성능을 향상시킬 수 있음을 보여주지만, 추론 시간 증가를 수반한다는 점을 확인했다.