[논문 리뷰] Crowd Scene Analysis by Output Encoding

Yao Xue, Siming Liu외 2명|arXiv (Cornell University)|2020. 01. 27.

Anomaly Detection Techniques and Applications참고 문헌 49인용 수 4

한 줄 요약

이 논문은 압축 감지 기반 출력 인코딩(CSOE) 프레임워크를 제안하여 혼잡한 군중 장면 분석을 수행한다. 이는 압축된 인코딩 공간 내에서 신호 회귀로 군중 정위치를 다루며, 특히 매우 혼잡한 장면에서 정위치 정확도를 크게 향상시킨다. 다중 확장 컨볼루션 브랜치(MDCB)와 적응형 수용장역할 가중치(ARFW)를 통합함으로써, 대규모 척도 변화를 효과적으로 처리하고 네 가지 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다. 특히 밀집된 군중 상황에서 뛰어난 성능을 발휘한다.

ABSTRACT

Crowd scene analysis receives growing attention due to its wide applications. Grasping the accurate crowd location (rather than merely crowd count) is important for spatially identifying high-risk regions in congested scenes. In this paper, we propose a Compressed Sensing based Output Encoding (CSOE) scheme, which casts detecting pixel coordinates of small objects into a task of signal regression in encoding signal space. CSOE helps to boost localization performance in circumstances where targets are highly crowded without huge scale variation. In addition, proper receptive field sizes are crucial for crowd analysis due to human size variations. We create Multiple Dilated Convolution Branches (MDCB) that offers a set of different receptive field sizes, to improve localization accuracy when objects sizes change drastically in an image. Also, we develop an Adaptive Receptive Field Weighting (ARFW) module, which further deals with scale variation issue by adaptively emphasizing informative channels that have proper receptive field size. Experiments demonstrate the effectiveness of the proposed method, which achieves state-of-the-art performance across four mainstream datasets, especially achieves excellent results in highly crowded scenes. More importantly, experiments support our insights that it is crucial to tackle target size variation issue in crowd analysis task, and casting crowd localization as regression in encoding signal space is quite effective for crowd analysis.

연구 동기 및 목표

• 밀도 기반 방법이 개인 객체를 정위치하지 못하는 매우 혼잡한 장면에서 정확한 군중 정위치를 해결하기 위해.
• 직접 픽셀 좌표 회귀 방식이 밀집된 군중에서 위치 이동 및 크기 스케일링 오류를 야기하는 데서 비롯되는 한계를 극복하기 위해.
• 단일 이미지 내에서 인간 머리 크기의 큰 척도 변화에 대한 강건성을 향상시키기 위해.
• 객체가 서로 매우 가까이 밀집되어 있고 가림을 겪더라도 높은 정위치 정확도를 유지할 수 있는 방법을 개발하기 위해.
• 정위치를 인코딩된 신호 공간 내에서의 회귀로 간주하는 것이 직접 좌표 예측보다 군중 장면에서 더 효과적인가를 검증하기 위해.

제안 방법

• CSOE 모듈은 희박한 군중 위치(머리 중심점)를 압축된 밀집 신호 벡터로 인코딩하여, 정위치 작업을 신호 회귀 문제로 변환한다.
• CNN 회귀기 모델이 압축된 신호 벡터를 예측하고, 복원 알고리즘을 통해 이를 희박한 픽셀 좌표로 복원한다.
• 다중 확장 컨볼루션 브랜치(MDCB)를 도입하여 고정된 여러 수용장역할 크기를 제공함으로써 다양한 객체 척도에서의 검출 성능을 향상시킨다.
• 적응형 수용장역할 가중치(ARFW)는 객체 척도에 가장 적합한 수용장역할을 가진 특징 채널을 동적으로 강조하여 일반화 성능을 향상시킨다.
• 압축 감지 원리에 따라 공간적 관계를 유지하면서도, 희박한 복원 손실을 사용해 엔드 투 엔드로 모델을 훈련시킨다.
• 객체 중심 내 특징 학습을 향상시키기 위해 중심 풀링을 적용하여 정위치 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 압축 감지 기반으로 출력 공간을 압축하는 것이 직접 좌표 회귀보다 혼잡한 장면에서 정위치 정확도를 향상시키는가?
• RQ2 단일 이미지 내에서 인간 머리 크기의 큰 변화를 다루기 위해 다중 확장 컨볼루션 브랜치를 사용하는 것이 얼마나 효과적인가?
• RQ3 척도 기반 적응형 수용장역할 가중치가 복잡한 군중 장면에서 정위치 성능을 향상시키는가?
• RQ4 제안된 방법이 다양한 데이터셋에서 계수 및 정위치 작업 모두에서 기존 최신 기술 수준의 접근 방식을 얼마나 뛰어넘는가?
• RQ5 CSOE, MDCB, ARFW의 조합이 특히 고밀도 상황에서 성능 향상에 상호보완적인 효과를 가지는가?

주요 결과

• 완전한 모델(CSOE + MDCB + CP + ARFW)은 상하이 기술대(Sh-A) 데이터셋에서 F1-스코어 0.831을 기록하여 모든 아블레이션 설정보다 뛰어난 성능을 보였다.
• 상하이 기술대(Sh-B) 데이터셋에서 F1-스코어 0.834를 기록하여 다양한 군중 밀도에서 강력한 일반화 능력을 입증했다.
• ARFW 모듈은 MDCB와 조합되었을 때, 적응형 가중치가 없는 설정 대비 F1-스코어가 0.027~0.045 포인트 향상되어 척도 처리에서의 효과성을 확인했다.
• MDCB+ARFW 설정은 모든 이원 구성 설정 중에서 가장 높은 F1-스코어를 기록하여 척도 변화가 군중 정위치에 있어 핵심 요소임을 시사했다.
• 아블레이션 연구 결과, CSOE 단독으로도 단일 구성 요소 설정 중에서 가장 뛰어난 성능을 기록하여, 신호 공간 내 회귀가 픽셀 공간 내 회귀보다 더 효과적이라는 핵심 통찰을 뒷받침했다.
• 모델은 상하이 기술대, UCF, 월드엑spo를 포함한 네 가지 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성했으며, 특히 전통적 방법이 실패하는 고밀도 장면에서 두각을 나타냈다.