[논문 리뷰] Learning Pairwise Relationship for Multi-object Detection in Crowded Scenes

Yu Liu, Lingqiao Liu외 4명|arXiv (Cornell University)|2019. 01. 12.

Advanced Neural Network Applications참고 문헌 30인용 수 9

한 줄 요약

이 논문은 다중 객체 검출 파이프라인에서 GreedyNMS를 대체하는 학습 가능한 비최대 억제 방법인 Pairwise-NMS를 제안한다. 겹치는 제안 영역 쌍이 0개, 1개 또는 2개의 객체를 포함하는지 식별하기 위해 깊이 있는 쌍별 관계 네트워크를 사용함으로써, 혼잡하고 가림이 심한 상황에서 검출 정확도를 크게 향상시킨다. 이는 MOT15, TUD-Crossing 및 PETS에서 특히 두드러지며, 효율성을 희생하지 않으면서 Faster R-CNN 및 DPM 검출기와 원활하게 통합된다.

ABSTRACT

As the post-processing step for object detection, non-maximum suppression (GreedyNMS) is widely used in most of the detectors for many years. It is efficient and accurate for sparse scenes, but suffers an inevitable trade-off between precision and recall in crowded scenes. To overcome this drawback, we propose a Pairwise-NMS to cure GreedyNMS. Specifically, a pairwise-relationship network that is based on deep learning is learned to predict if two overlapping proposal boxes contain two objects or zero/one object, which can handle multiple overlapping objects effectively. Through neatly coupling with GreedyNMS without losing efficiency, consistent improvements have been achieved in heavily occluded datasets including MOT15, TUD-Crossing and PETS. In addition, Pairwise-NMS can be integrated into any learning based detectors (Both of Faster-RCNN and DPM detectors are tested in this paper), thus building a bridge between GreedyNMS and end-to-end learning detectors.

연구 동기 및 목표

• 겹치는 객체가 흔한 혼잡하고 가림이 심한 상황에서 GreedyNMS의 열악한 성능을 해결하기 위해.
• GreedyNMS가 과도하게 강한 억제로 인해 유효한 검출 결과를 억압하는 경향이 있는 정밀도-재현율 간의 본질적 상충 관계를 극복하기 위해.
• 밀도가 높은 클러스터 내에서 여러 객체를 유지하면서도 계산 효율성을 유지하는 후처리 방법을 개발하기 위해.
• 기존의 학습 기반 검출기인 Faster R-CNN 및 DPM과의 원활한 통합을 가능하게 하여 엔드 투 엔드 학습의 길을 열기 위해.
• 동일 카테고리의 객체가 상호 가림을 겪는 상황에서의 검출 강인성을 향상시키기 위해.

제안 방법

• Pairwise-NMS는 IoU 및 특징 표현을 기반으로 겹치는 제안 영역 쌍을 분류하기 위해 학습된 쌍별 관계 네트워크를 사용함으로써 GreedyNMS를 대체한다.
• IoU가 임계값 $N_t$ 이하일 경우, GreedyNMS는 정상적으로 적용된다; IoU가 $N_t$ 초과일 경우, 쌍별 관계 네트워크가 두 제안 영역이 0개, 1개 또는 2개의 객체를 포함하는지 예측한다.
• 쌍별 관계 네트워크는 클래스 불균형을 해결하기 위해 비율 1:3으로 비유사 쌍과 유사 쌍을 유지하는 균형 잡힌 샘플링 전략을 사용해 훈련된다.
• 특징 표현 간의 차이를 더 잘 식별하기 위해 완전 연결(FC) 레이어 대신 전역 평균 풀링(GAP) 레이어를 사용한다.
• 이 방법은 플러그 앤 플레이 방식으로, 어떤 검출기 아키텍처와도 호환되며, 백본을 수정하지 않고도 Faster R-CNN 및 DPM에 통합할 수 있다.
• 네트워크는 TUD-Crossing 및 MOT15와 같은 데이터셋의 제안 영역 쌍에서 엔드 투 엔드로 훈련되며, 겹치는 영역 내 객체 수에 대한 진짜 레이블을 사용한다.

실험 결과

연구 질문

• RQ1 학습 가능한 쌍별 관계 네트워크가 혼잡한 상황에서 겹치는 제안 영역가 하나 또는 두 개의 객체를 효과적으로 구분할 수 있는가?
• RQ2 Pairwise-NMS가 혼잡하고 가림이 심한 데이터셋에서 GreedyNMS 및 Soft-NMS보다 평균 정밀도(mAP) 측면에서 뛰어나게 성능을 발휘하는가?
• RQ3 기존의 검출기인 Faster R-CNN 및 DPM에 효율적으로 통합될 수 있는가? 이는 추론 속도 저하 없이 이루어지는가?
• RQ4 네트워크 아키텍처의 선택(예: GAP 레이어 대비 FC 레이어)이 쌍별 관계 분류기 성능에 어떤 영향을 미치는가?
• RQ5 가림이 심한 상황에서 불균형한 쌍 분류 훈련을 최적화하기 위한 샘플링 전략은 무엇인가?

주요 결과

• Pairwise-NMS는 MOT15, TUD-Crossing 및 PETS에서 GreedyNMS보다 일관된 mAP 향상을 달성하며, 특히 혼잡하고 가림이 심한 상황에서 두드러진다.
• TUD-Crossing 데이터셋에서 GAP 레이어를 사용한 쌍별 관계 네트워크는 FC 레이어 버전을 능가하여 더 높은 검증 정확도와 수렴 성능를 보였다.
• 정성적 비교를 통해 Pairwise-NMS는 GreedyNMS보다 더 많은 유효한 검출 결과를 유지함으로써, 혼잡한 상황에서 임의의 억제를 줄이고 잘못된 억제(false positives)를 감소시켰다.
• 제거 실험을 통해 훈련 중 비유사 쌍과 유사 쌍 간의 비율을 1:3으로 유지할 경우, 더 나은 일반화 및 객체 수 예측 성능 향상이 이루어짐을 확인했다.
• Pairwise-NMS는 GreedyNMS와 유사한 효율성을 유지하며, 백본을 수정하지 않고도 Faster R-CNN 및 DPM 검출기와 원활하게 통합될 수 있다.
• 혼잡한 상황에서 Soft-NMS를 능가하는 성능를 보이며, 가림에 대한 강인성과 다수의 겹치는 객체를 더 잘 처리하는 데서 뛰어난 성능를 입증했다.