[논문 리뷰] Learning non-maximum suppression

Jan Hosang, Rodrigo Benenson외 1명|arXiv (Cornell University)|2017. 05. 08.

Video Surveillance and Tracking Methods참고 문헌 34인용 수 36

한 줄 요약

이 논문은 객체 검출기에서 전통적인 그리디 NMS 후처리 단계를 대체하는 학습 가능한 비최대 억제(NMS) 네트워크인 Gnet을 제안한다. 깊이 신경망을 통해 바운딩 박스와 그 점수를 동시에 처리함으로써 Gnet은 종료형(end-to-end)으로 중복 검출을 억제하는 방식을 학습하며, 정위치 및 가림 처리 능력 향상에 기여한다. COCO 및 PETS 데이터셋에서 그리디 NMS 대비 일관된 1 mAP 포인트 향상을 달성한다.

ABSTRACT

Object detectors have hugely profited from moving towards an end-to-end learning paradigm: proposals, features, and the classifier becoming one neural network improved results two-fold on general object detection. One indispensable component is non-maximum suppression (NMS), a post-processing algorithm responsible for merging all detections that belong to the same object. The de facto standard NMS algorithm is still fully hand-crafted, suspiciously simple, and -- being based on greedy clustering with a fixed distance threshold -- forces a trade-off between recall and precision. We propose a new network architecture designed to perform NMS, using only boxes and their score. We report experiments for person detection on PETS and for general object categories on the COCO dataset. Our approach shows promise providing improved localization and occlusion handling.

연구 동기 및 목표

• 그리디 NMS의 한계를 해결하기 위해, 수작업으로 설정된 고정 임계값을 사용하는 후처리 단계로 인해 정밀도와 재현율 사이의 상충 관계가 발생하는 문제를 해결한다.
• 검출 결과에 대한 후처리 NMS가 필요 없도록, 신경망을 통해 검출 결과 그 자체에서 NMS를 수행하도록 훈련한다.
• NMS를 학습 파이프라인에 통합함으로써 객체 검출기의 진정한 종료형 훈련을 가능하게 한다.
• 검출 점수와 공간적 겹침 기반으로 적응형 억제를 학습함으로써, 특히 가림되거나 혼잡한 장면에서의 검출 성능 향상을 도모한다.

제안 방법

• 원시 바운딩 박스와 그 신뢰도 점수를 입력으로 받고, 개선된 비중복 검출 결과를 출력하는 컨볼루션 신경망 아키텍처인 Gnet을 제안한다.
• 동일한 객체에 대해 다중 검출이 발생하지 않도록 하는 차별 가능한 손실 함수를 설계하여, 네트워크가 중복 예측을 억제하도록 유도한다.
• 검출 결과를 노드로 간주하고, 겹치는 검출 결과 간에 연결된 메시지 전달 또는 주목력 기반 레이어를 사용하는 그래프 유사 처리 메커니즘을 설계한다.
• 다중 스케일 및 잔차 유사 아키텍처를 활용하여, 다양한 객체 구성에 걸쳐 복잡한 억제 패tern을 학습할 수 있도록 여러 블록을 포함한다.
• 이미지 특징이나 외부 모델 결정 정보가 필요 없이, 실제 객체 위치에 대한 지도 학습을 통해 네트워크를 종료형으로 훈련한다.
• 각 클래스 점수 처리를 위한 입력 및 출력 헤드를 수정함으로써, 단일 클래스(PETS) 및 다중 클래스(COCO) 검출 작업에 동일한 아키텍처를 적용한다.

실험 결과

연구 질문

• RQ1 이미지 특징이나 수작업으로 설정된 임계값에 의존하지 않고도, 딥 신경망을 통해 비최대 억제를 수행할 수 있는가?
• RQ2 학습 가능한 NMS 메커니즘이 특히 가림 또는 고밀도 객체 배치와 같은 도전적인 상황에서 검출 성능 향상에 기여하는가?
• RQ3 단일 신경망 아키텍처가 다양한 객체 카테고리에 대해 일반화되어 있으며, 여러 데이터셋에서 그리디 NMS를 대체할 수 있는가?
• RQ4 최적의 데이터셋 별 임계값 조정을 수행한 그리디 NMS와 비교할 때, 학습된 NMS(Gnet)의 성능은 어떻게 되는가?
• RQ5 네트워크 성능가 아키텍처의 깊이와 훈련 데이터 크기의 영향을 얼마나 받는가?

주요 결과

• COCO 데이터셋에서 Gnet은 그리디 NMS 대비 일관된 1 mAP 포인트 향상을 달성하며, per-class로 조정된 그리디 NMS 임계값을 사용할 경우 mAP@0.5:0.95가 23.5%에서 24.3%로 상승한다.
• PETS 보행자 검출 데이터셋에서 Gnet은 저조도 및 고조도 수준 모두에서 성능 향상을 보이며, AP@0.5 및 AP@0.5:0.95 모두에서 개선 효과를 확인한다.
• 블록 수가 두 개인 단순한 아키텍처로도 Gnet은 그리디 NMS 대비 약 1 mAP 포인트 향상을 달성하여, 얕은 구조에서도 강력한 학습 능력을 보인다.
• 아키텍처 깊이에 대한 민감도가 낮아지며 성능 변동성이 감소함으로써, 네트워크가 안정적이고 일반화 능력이 뛰어나다는 것을 보여준다.
• COCO의 80개 카테고리 중 70개에서 Gnet은 그리디 NMS를 능가하며, 치명적인 실패 없이 광범위한 객체 클래스에 걸쳐 적용 가능함을 입증한다.
• 검증 및 테스트 세트에서의 결과는 네트워크가 데이터를 암기하는 것이 아니라 의미 있는 억제 패턴을 학습한다는 것을 확인하며, 우수한 일반화 능력을 보여준다.