[논문 리뷰] Resisting the Distracting-factors in Pedestrian Detection.

Zhe Wang, Jun Wang외 1명|arXiv (Cornell University)|2020. 05. 15.

Video Surveillance and Tracking Methods인용 수 2

한 줄 요약

이 논문은 캐리어 효과를 줄이기 위해 제안물을 목표로 끌어당기고 비대상 인스턴스에서 밀어내는 방식으로, 오염 효과를 줄이기 위한 쿨롱 손실을 제안하며, 하드 네거티브 마이닝을 향상시키기 위한 의미 기반 앵커 샘플링 전략을 함께 제안한다. 이 방법들은 엔드 투 엔드 훈련이 가능하고 일반화 능력이 뛰어난 설계로 Caltech-USA 및 CityPersons 벤치마크에서 성능을 향상시킨다.

ABSTRACT

Pedestrian detection has been heavily studied in the last decade due to its wide application. Despite incremental progress, crowd occlusion and hard negatives are still challenging current state-of-the-art pedestrian detectors. In this paper, we offer two approaches based on the general region-based detection framework to tackle these challenges. Specifically, to address the occlusion, we design a novel coulomb loss as a regulator on bounding box regression, in which proposals are attracted by their target instance and repelled by the adjacent non-target instances. For hard negatives, we propose an efficient semantic-driven strategy for selecting anchor locations, which can sample informative negative examples at training phase for classification refinement. It is worth noting that these methods can also be applied to general object detection domain, and trainable in an end-to-end manner. We achieves consistently high performance on the Caltech-USA and CityPersons benchmarks.

연구 동기 및 목표

• 심각한 오염과 하드 네거티브 예제 상황에서 지속적으로 발생하는 보행자 검출 과제를 해결한다.
• 제안물과 목표물 간의 공간적 관계를 모델링하여 혼잡한 장면에서 바운딩 박스 회귀의 강건성을 향상시킨다.
• 훈련 중 의미적 신호를 활용해 정보가 풍부한 네거티브 앵커를 선택함으로써 분류 성능을 향상시킨다.
• 일반 객체 검출과 호환되며 엔드 투 엔드 훈련이 가능한 방법을 설계한다.

제안 방법

• 물리 기반의 힘 공식을 활용해 제안물-목표물 간의 유인과 제안물-비대상 간의 반발력을 모델링하는 쿨롱 손실을 도입한다.
• 쿨롱 손실을 바운딩 박스 회귀에 대한 미분 가능한 정규화 항으로 제안하여 정확도를 향상시킨다.
• 특징 수준의 의미 정보를 기반으로 영향력 있는 네거티브 앵커 위치를 선택하는 의미 기반 전략을 제안한다.
• 엔드 투 엔드 훈련을 위한 영역 기반 검출 프레임워크에 손실 함수와 샘플링 전략을 통합한다.
• 백본 네트워크의 특징 맵을 활용해 의미적으로 모호하거나 분류가 어려운 영역을 우선순위로 삼는 네거티브 앵커 선택을 유도한다.
• 일반적인 검출 헤드와 훈련 파이프라인과의 호환성을 확보하여 광범위한 적용 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 오염과 혼잡한 장면 상황에서 바운딩 박스 회귀는 어떻게 향상시킬 수 있는가?
• RQ2 미분 가능한 물리 기반 손실 함수가 공간적 관계를 모델링함으로써 정위치 정확도를 향상시킬 수 있는가?
• RQ3 하드 네거티브 상황에서 분류 성능을 향상시키기 위해 네거티브 예제를 더 효과적으로 선택할 수 있는가?
• RQ4 제안된 방법들이 보행자 검출을 넘어서 일반 객체 검출에까지 일반화될 수 있는가?
• RQ5 손실 함수와 샘플링 전략을 통합함으로써 다양한 벤치마크에서 일관된 성능 향상이 달성되는가?

주요 결과

• 쿨롱 손실은 오염된 상황에서의 회귀 오차를 줄임으로써 정위치 정확도를 크게 향상시킨다.
• 의미 기반 네거티브 샘플링 전략은 하드 예제에 집중함으로써 분류기의 구분 능력을 향상시킨다.
• 통합된 접근 방식은 Caltech-USA 벤치마크에서 최신 기준 성능을 달성한다.
• 더 도전적인 CityPersons 데이터셋에서도 강력한 성능을 기록하여 오염에 대한 강건성을 입증한다.
• 제안된 방법들은 엔드 투 엔드로 훈련 가능하며 일반적인 검출 프레임워크와 호환된다.
• 절단 분석 결과, 두 구성 요소가 성능 향상에 독립적이고 상호 보완적으로 기여하는 것으로 확인된다.