[논문 리뷰] From Open Set to Closed Set: Counting Objects by Spatial Divide-and-Conquer

Haipeng Xiong, Hao Lü외 4명|arXiv (Cornell University)|2019. 08. 15.

Video Surveillance and Tracking Methods참고 문헌 22인용 수 32

한 줄 요약

S-DCNet은 특징 맵을 공간적으로 나누어 로컬 카운트를 합산함으로써 개방 세트 카운트를 폐쇄 세트 문제로 전환하고, 다수의 데이터셋에서 최첨단 결과를 달성합니다.

ABSTRACT

Visual counting, a task that predicts the number of objects from an image/video, is an open-set problem by nature, i.e., the number of population can vary in $[0,+\infty)$ in theory. However, the collected images and labeled count values are limited in reality, which means only a small closed set is observed. Existing methods typically model this task in a regression manner, while they are likely to suffer from an unseen scene with counts out of the scope of the closed set. In fact, counting is decomposable. A dense region can always be divided until sub-region counts are within the previously observed closed set. Inspired by this idea, we propose a simple but effective approach, Spatial Divide-and- Conquer Network (S-DCNet). S-DCNet only learns from a closed set but can generalize well to open-set scenarios via S-DC. S-DCNet is also efficient. To avoid repeatedly computing sub-region convolutional features, S-DC is executed on the feature map instead of on the input image. S-DCNet achieves the state-of-the-art performance on three crowd counting datasets (ShanghaiTech, UCF_CC_50 and UCF-QNRF), a vehicle counting dataset (TRANCOS) and a plant counting dataset (MTC). Compared to the previous best methods, S-DCNet brings a 20.2% relative improvement on the ShanghaiTech Part B, 20.9% on the UCF-QNRF, 22.5% on the TRANCOS and 15.1% on the MTC. Code has been made available at: https://github. com/xhp-hust-2018-2011/S-DCNet.

연구 동기 및 목표

• 카운팅을 개방 세트 문제로 동기 부여하고 데이터 부족을 폐쇄 세트를 활용해 해결한다.
• 카운팅을 로컬, 카운트 구간 예측으로 분해하는 공간적 분할-정복 전략을 제안한다.
• 로 redundant computation을 피하기 위해 특징 맵에서 S-DC를 수행하는 CNN 구조를 개발한다.
• 다양한 데이터셋에 걸친 폐쇄 세트 학습의 견고성과 일반화를 개방 세트 카운팅으로 확장해 입증한다.

제안 방법

• UNet와 유사한 디코더를 갖춘 VGG16 기반 인코더를 사용하여 다중 해상도 특징 맵을 생성한다.
• 로컬 카운트를 구간으로 이산화하고 이 구간에 대해 분류 문제로 카운트를 형식화한다.
• 소프트 디비전 마스크를 생성하고 하위 영역의 카운트를 결합해 글로벌 영상 카운트를 얻는 division decider를 도입한다.
• 단일 단계 및 다단계의 S-DC를 적용하여 특징 맵을 반복적으로 나누고 로컬 카운트를 정교화한다.
• 다중 분류 출력에 대한 교차 엔트로피 손실과 최종 division 출력에 대한 L1 손실로 구성된 다중 작업 손실로 학습한다.

실험 결과

연구 질문

• RQ1 분할을 통한 공간적 방법으로 학습된 폐쇄 세트 카운팅 모델이 개방 세트 카운팅으로 일반화될 수 있는가?
• RQ2 과도한 계산 없이 정확한 개방 세트 카운팅에 필요한 분할 단계의 수는 어느 정도인가?
• RQ3 카운팅을 구간 분류로 재구성하면 직접 회귀보다 성능이 개선되는가?
• RQ4 Cmax와 파티션 전략이 S-DCNet의 성능에 미치는 영향은 무엇인가?
• RQ5 S-DCNet은 다양한 카운팅 데이터셋(군중, 차량, 식물)에서 최신 방법과 비교해 어떤 성능을 보이는가?

주요 결과

• S-DCNet은 ShanghaiTech Part_A 및 Part_B, UCF-QNRF, TRANCOS, MTC 데이터셋에서 MAE/MSE의 최첨단 성능을 달성한다.
• 2단계 S-DC로도 강력한 성능을 달성하며, 단계가 늘어나도 이익 증가가 감소한다.
• 로컬 카운트를 구간으로 이산화하고 공유 분류기를 사용하는 것이 직접 회귀나 일반 분류보다 견고함을 향상시킨다.
• 폐쇄 세트로 학습된 모델이 S-DC로 인해 학습 최대치를 넘는 카운트(open-set)에 효과적으로 일반화된다.
• S-DCNet은 여러 데이터셋에서 이전 방법에 비해 상대적으로 큰 개선을 보인다(예: ShanghaiTech Part_B, UCF-QNRF, TRANCOS, MTC).