[논문 리뷰] Confluence: A Robust Non-IoU Alternative to Non-Maxima Suppression in Object Detection

Andrew Shepley, Greg Falzon외 1명|arXiv (Cornell University)|2020. 12. 01.

Advanced Image and Video Retrieval Techniques참고 문헌 80인용 수 7

한 줄 요약

Confluence는 객체 검출에서 Non-Maxima Suppression(NMS)의 비-IoU 대안을 제안하며, 중복된 바운딩 박스를 식별하고 제거하기 위해 정규화된 맨하탄 거리 기반의 유사도 측도를 사용한다. MS COCO 및 CrowdHuman 벤치마크에서 최신 NMS 변종 대비 평균 정밀도를 최대 3.8% 향상시키고, 평균 재현율을 최대 7.2% 향상시킨다.

ABSTRACT

Confluence is a novel non-Intersection over Union (IoU) alternative to Non-Maxima Suppression (NMS) in bounding box post-processing in object detection. It overcomes the inherent limitations of IoU-based NMS variants to provide a more stable, consistent predictor of bounding box clustering by using a normalized Manhattan Distance inspired proximity metric to represent bounding box clustering. Unlike Greedy and Soft NMS, it does not rely solely on classification confidence scores to select optimal bounding boxes, instead selecting the box which is closest to every other box within a given cluster and removing highly confluent neighboring boxes. Confluence is experimentally validated on the MS COCO and CrowdHuman benchmarks, improving Average Precision by up to 2.3-3.8% and Average Recall by up to 5.3-7.2% when compared against de-facto standard and state of the art NMS variants. Quantitative results are supported by extensive qualitative analysis and threshold sensitivity analysis experiments support the conclusion that Confluence is more robust than NMS variants. Confluence represents a paradigm shift in bounding box processing, with potential to replace IoU in bounding box regression processes.

연구 동기 및 목표

• 높은 오버랩으로 인해 잘못된 억제가 발생하는 혼잡하거나 가림이 있는 환경에서 IoU 기반 NMS의 한계를 해결하기 위해.
• 분류 신뢰도 점수에 의존하는 NMS의 문제점을 해결하기 위해, 이는 국소화 정확도와 약한 상관관계를 가진다.
• 객체 검출 후처리 단계에서 최적의 바운딩 박스를 선택하는 데 더 안정적이고 일관된 방법을 개발하기 위해.
• 재훈련이나 아키텍처 변경 없이도 즉시 사용 가능한 NMS의 대체 방법을 제공하기 위해.

제안 방법

• Confluence는 바운딩 박스 테두리 간의 유사도를 측정하기 위해 정규화된 맨하탄 거리 측도를 사용하여 기하학적 일관성을 파악한다.
• 클러스터 내 모든 다른 박스에 가장 가까운 바운딩 박스를 최적의 대표자로 선택함으로써 공간적 산란을 최소화한다.
• 오직 기하학적으로 일관되고 중복되는 박자만 제거되며, 단순히 겹치는 것만으로는 제거되지 않는다.
• 선택 과정에서 IoU나 신뢰도 점수를 사용하지 않고, 대신 박스 테두리의 공간적 정렬을 우선시한다.
• 재훈련이나 아키텍처 수정 없이 기존 객체 검출기와 원활하게 통합된다.
• 임계값 민감도 분석을 통해, 가림 및 다양한 클러스터링 조건에 대해 강건함을 입증한다.

실험 결과

연구 질문

• RQ1 IoU 기반 방법보다 비-IoU 측도가 객체 검출에서 중복된 바운딩 박스를 더 잘 억제할 수 있는가?
• RQ2 신뢰도 점수 의존성을 기하학적 일관성으로 대체할 경우 국소화 정확도와 재현율이 향상되는가?
• RQ3 고도의 가림이나 고밀도 객체 클러스터링 조건에서 Confluence는 G-NMS 및 S-NMS와 비교해 어떻게 성능을 내는가?
• RQ4 IoU 기반 NMS 변종 대비 Confluence는 하이퍼파라미터 임계값에 더 강건한가?
• RQ5 실제 검출 파이프라인에 재훈련 없이도 구현 가능한가?

주요 결과

• Confluence는 MS COCO 및 CrowdHuman에서 G-NMS 및 S-NMS 대비 평균 정밀도를 최대 3.8% 향상시키고, 평균 재현율을 최대 7.2% 향상시킨다.
• IoU 기반 방법과 달리, 높은 오버랩 상태에서도 기하학적으로 일관된 박스를 유지함으로써 더 높은 재현율을 달성한다.
• 임계값 민감도 분석 결과, Confluence는 IoU 기반 NMS 변종보다 하이퍼파라미터 변동에 더 강건함을 입증한다.
• 가림 상황, 예를 들어 혼잡한 장면이나 부분적인 객체 오버랩에서, Confluence는 참 긍정을 더 많이 유지하면서도 거짓 긍정을 효과적으로 억제한다.
• IoU 기반 NMS에서 더 잘 국소화된 박스가 억제되는 문제를 피할 수 있음을 입증하며, 비최적의 박스 선택을 방지한다.
• 다양한 객체 검출기에서 뛰어난 성능을 보이며, 광범위한 호환성과 일반화 능력을 입증한다.