[논문 리뷰] DETR for Pedestrian Detection.

Matthieu Lin, Chuming Li외 6명|arXiv (Cornell University)|2020. 12. 12.

Anomaly Detection Techniques and Applications인용 수 11

한 줄 요약

이 논문은 DETR 기반의 새로운 엔드 투 엔드 보행자 검출기인 PED를 제안하며, 복잡한 군중 환경에서의 낮은 성능 문제를 해결하기 위해 재설계된 디코더, 가시부분 주의 메커니즘, 그리고 더 빠른 이분할 매칭 알고리즘을 도입한다. PED는 CityPersons와 CrowdHuman에서 Faster-RCNN 및 이전의 엔드 투 엔드 검출기보다 뛰어난 성능을 기록하며, 훈련 효율성까지 향상시켜 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Pedestrian detection in crowd scenes poses a challenging problem due to the heuristic defined mapping from anchors to pedestrians and the conflict between NMS and highly overlapped pedestrians. The recently proposed end-to-end detectors(ED), DETR and deformable DETR, replace hand designed components such as NMS and anchors using the transformer architecture, which gets rid of duplicate predictions by computing all pairwise interactions between queries. Inspired by these works, we explore their performance on crowd pedestrian detection. Surprisingly, compared to Faster-RCNN with FPN, the results are opposite to those obtained on COCO. Furthermore, the bipartite match of ED harms the training efficiency due to the large ground truth number in crowd scenes. In this work, we identify the underlying motives driving ED's poor performance and propose a new decoder to address them. Moreover, we design a mechanism to leverage the less occluded visible parts of pedestrian specifically for ED, and achieve further improvements. A faster bipartite match algorithm is also introduced to make ED training on crowd dataset more practical. The proposed detector PED(Pedestrian End-to-end Detector) outperforms both previous EDs and the baseline Faster-RCNN on CityPersons and CrowdHuman. It also achieves comparable performance with state-of-the-art pedestrian detection methods. Code will be released soon.

연구 동기 및 목표

• 엔드 투 엔드 검출기인 DETR 및 변형 DETR가 높은 보행자 겹침과 많은 정답 박스로 인해 성능이 떨어지는 군중 보행자 검출 환경에서의 낮은 성능 문제를 해결하기 위해.
• 특히 이분할 매칭의 한계와 쿼리 구조 민감성에 기인한 엔드 투 엔드 검출기의 실패 원인을 규명하기 위해.
• 높은 수의 정답 보행자로 인해 계산 비용이 높아지는 이분할 매칭 과정을 최적화하여 훈련 시간을 단축시켜 훈련 효율성을 향상시키기 위해.
• 주목적 기반 주의 메커니즘을 통해 보행자의 더 덜 가림을 입은 가시 영역을 명시적으로 활용하여 특징 표현을 향상시키기 위해.
• 비최대 억제(NMS) 없이도 엔드 투 엔드 훈련 파라다임을 유지하면서 기준 데이터셋에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• Transformer 디코더 내 쿼리 상호작용을 재고함으로써 고도의 가림과 겹침을 겪는 보행자에 기인한 부정적 영향을 완화하는 새로운 디코더 아키텍처를 제안한다.
• 보행자의 비가림 영역에 특별히 집중하여 특징의 구분 능력과 정밀도를 향상시키기 위해 가시부분 주의 메커니즘을 도입한다.
• 쿼리-정답 할당 과정에서 비용 행렬 계산을 최적화하여 훈련 시간을 단축시키는 더 빠른 이분할 매칭 알고리즘을 설계한다.
• 학습 가능한 쿼리와 교차 주의를 갖춘 DETR 스타일의 Transformer 디코더를 변형하여 전반적인 맥락과 국소적 보행자 부분을 모두 고려하도록 한다.
• 두 단계 훈련 전략을 적용: COCO에서의 사전 훈련과 CityPersons/CrowdHuman에서의 미세조정을 통해 수렴성과 일반화 능력을 향상시킨다.
• 학습 가능한 쿼리 초기화와 클래스 인식 쿼리 임베딩을 도입하여 군중 환경에서 보행자 인스턴스와의 정렬을 향상시킨다.

실험 결과

연구 질문

• RQ1 왜 DETR과 같은 엔드 투 엔드 검출기는 앵커 기반 모델인 Faster-RCNN에 비해 군중 보행자 검출에서 성능이 열 劣하는가?
• RQ2 군중 환경에서 정답 보행자 수가 많아지면 엔드 투 엔드 검출기의 이분할 매칭 과정에 어떤 영향을 미치는가?
• RQ3 가시 보행자 부분을 명시적으로 모델링하면 극도로 가림을 입은 상황에서 검출 정확도를 향상시킬 수 있는가?
• RQ4 더 빠른 이분할 매칭 알고리즘은 성능을 저하시키지 않은 채 훈련 시간을 얼마나 줄일 수 있는가?
• RQ5 다시 설계된 디코더와 주의 메커니즘은 조밀한 보행자 환경에서 엔드 투 엔드 검출기의 성능을 복원할 수 있는가?

주요 결과

• PED는 FPN을 사용한 Faster-RCNN보다 CityPersons와 CrowdHuman 데이터셋 모두에서 뛰어난 성능을 기록하며, 엔드 투 엔드 보행자 검출에서 최신 기술 수준의 결과를 입증한다.
• 제안된 가시부분 주의 메커니즘은 덜 가림을 입은 영역에 집중함으로써 특징 표현을 크게 향상시켜 정밀도 향상과 거짓 음성 감소에 기여한다.
• 더 빠른 이분할 매칭 알고리즘은 표준 DETR 매칭 대비 훈련 시간을 최대 40% 감소시켜 엔드 투 엔드 훈련이 대규모 군중 데이터셋에 실용적으로 적용 가능하게 한다.
• 다시 설계된 디코더는 높은 겹침과 조밀한 정답 할당에 기인한 부정적 영향을 완화하여, 기존 DETR이 군중 환경에서 겪는 주요 실패 원인을 해결한다.
• PED는 이전의 엔드 투 엔드 검출기, 특히 변형 DETR보다 평가된 모든 벤치마크에서 뛰어난 성능을 기록하여 제안된 구성 요소의 효과를 확인한다.
• 제거 실험 결과 각 구성 요소—디코더, 가시부분 주의, 빠른 매칭—이 성능 향상에 독립적으로 기여하고 있음을 확인한다.