[논문 리뷰] What's in the Black Box? The False Negative Mechanisms Inside Object Detectors

Dimity Miller, Peyman Moghadam외 3명|arXiv (Cornell University)|2022. 03. 15.

Advanced Neural Network Applications참고 문헌 26인용 수 21

한 줄 요약

이 논문은 두 단계(Faster R-CNN) 및 한 단계(RetinaNet) 앵커 박스 기반 객체 검출기에서 다섯 가지 내부 거짓 음성 메커니즘을 규명하고, 검출기가 객체를 탐지하지 못하는 이유를 진단하기 위한 프레임워크를 제안한다. 분석 결과, 벤치마크 데이터셋(COCO 등)과 실세계 로봇 응용 시나리오(SubT, iCubWorldT 등) 간에 거짓 음성 메커니즘이 상당히 다름을 확인했으며, 특히 로봇 환경에서는 배경 분류가 지배적인 반면, 벤치마크 성능은 높게 나타남을 밝혀냈다.

ABSTRACT

In object detection, false negatives arise when a detector fails to detect a target object. To understand why object detectors produce false negatives, we identify five 'false negative mechanisms', where each mechanism describes how a specific component inside the detector architecture failed. Focusing on two-stage and one-stage anchor-box object detector architectures, we introduce a framework for quantifying these false negative mechanisms. Using this framework, we investigate why Faster R-CNN and RetinaNet fail to detect objects in benchmark vision datasets and robotics datasets. We show that a detector's false negative mechanisms differ significantly between computer vision benchmark datasets and robotics deployment scenarios. This has implications for the translation of object detectors developed for benchmark datasets to robotics applications. Code is publicly available at https://github.com/csiro-robotics/fn_mechanisms

연구 동기 및 목표

• 블랙박스 오류 분류를 넘어서 객체 검출기가 거짓 음성을 유발하는 이유를 이해하기 위해.
• 객체 검출기 내에서 거짓 음성을 유발하는 특정 내부 구성 요소의 실패 원인을 진단하기 위해.
• 표준 컴퓨터 비전 벤치마크와 실세계 로봇 구현 간의 거짓 음성 메커니즘의 차이를 조사하기 위해.
• 로봇 응용 분야에서의 검출기 신뢰성 향상을 위한 설계 및 훈련 전략을 제안하기 위해.

제안 방법

• 객체 검출기 아키텍처 내부에서 발생하는 다섯 가지 구분 가능한 거짓 음성 메커니즘을 식별하고 정량화하기 위한 프레임워크를 제안함.
• 앵커 박스 기반 아키텍처를 사용하는 두 단계(Faster R-CNN) 및 한 단계(RetinaNet) 검출기를 분석함.
• 각 내부 구성 요소의 실패 원인에 따라 거짓 음성을 분류: 제안 프로세스, 영역 회귀기, 배경 분류기, 분류기 校정, 상위 클래스 분류.
• 비교 분석을 위해 벤치마크 데이터셋(COCO, ExDark)과 로봇 데이터셋(iCubWorldT, CSIRO Data61 SubT)을 사용함.
• 백본 네트워크(ResNet50, ResNet101, ResNeXt101)가 거짓 음성 메커니즘에 미치는 영향을 평가함.
• IoU 임계값과 검출 점수 분석을 활용해 검출기 구성 요소 내부의 실패 지점을 고립함.

실험 결과

연구 질문

• RQ1 객체 검출기에서 거짓 음성을 유발하는 특정 내부 실패 메커니즘은 무엇인가?
• RQ2 표준 벤치마크 데이터셋과 실세계 로봇 데이터셋 간의 이러한 거짓 음성 메커니즘은 어떻게 다를까?
• RQ3 백본 아키텍처가 거짓 음성 메커니즘의 분포에 얼마나 영향을 미치는가?
• RQ4 왜 COCO에서 높은 mAP 성능을 보이는 검출기일지라도, 로봇 데이터셋에서는 더 많은 실패를 보이는가?
• RQ5 실패 메커니즘을 바탕으로 표적 데이터 수집이나 모델 재학습을 유도할 수 있는가?

주요 결과

• COCO에서는 주로 배경 분류가 거짓 음성의 주요 원인이며, Faster R-CNN의 경우 58.2%, RetinaNet의 경우 77.9%를 차지한다. 반면 CSIRO Data61 SubT에서는 각각 82.8%(Faster R-CNN), 94.6%(RetinaNet)로 증가한다.
• iCubWorldT에서는 상위 클래스 분류가 주요 메커니즘이며, COCO 대비 각각 44.2%(Faster R-CNN), 54.6%(RetinaNet) 증가한다.
• SubT 및 iCubWorldT와 같은 로봇 데이터셋에서의 거짓 음성 메커니즘은 COCO 성능으로서는 신뢰할 만하게 예측되지 않으며, 이는 벤치마크 기반 개선 사항의 전이성 부족을 시사한다.
• 백본 네트워크(ResNet50, ResNet101, ResNeXt101)는 거짓 음성 메커니즘의 분포에 미미한 영향을 미치며, 이는 아키텍처 및 훈련 방식이 더 중요한 영향을 미친다는 것을 시사한다.
• COCO에서 높은 mAP를 달성했음에도 불구하고, 배경 외 메커니즘의 해결으로 인해 COCO에서는 거짓 음성 비율이 41.2%(Faster R-CNN) 감소하지만, SubT에서는 단지 17.5%에 그치며, 이는 벤치마크 중심의 개선 조치가 전이성에 한계가 있음을 강조한다.
• 배경 분류 실패 시 영역 제안 네트워크(RPN)가 객체 존재성을 안정적으로 탐지함을 확인했으며, 이는 RPN 출력을 활용해 잠재적 거짓 음성 경고 시스템을 구현할 수 있음을 시사한다.