[논문 리뷰] Localization in the Crowd with Topological Constraints

Shahira Abousamra, Minh Hoai외 2명|arXiv (Cornell University)|2020. 12. 23.

Topological and Geometric Data Analysis참고 문헌 56인용 수 9

한 줄 요약

이 논문은 밀도 높은 영역에서의 잘못된 양성 및 음성 결과를 크게 줄이기 위해 지속 호몰로지(persistent homology)를 활용하여 공간적 추론을 강제하는 새로운 지속성 손실을 도입한 TopoCount라는 위상적 딥러닝 방법을 제안한다. 이 방법은 국소화 정확도를 향상시키고, 보조 입력으로 사용될 경우 최신 기술 수준의 군중 수세기 성능을 7–28% 향상시킨다.

ABSTRACT

We address the problem of crowd localization, i.e., the prediction of dots corresponding to people in a crowded scene. Due to various challenges, a localization method is prone to spatial semantic errors, i.e., predicting multiple dots within a same person or collapsing multiple dots in a cluttered region. We propose a topological approach targeting these semantic errors. We introduce a topological constraint that teaches the model to reason about the spatial arrangement of dots. To enforce this constraint, we define a persistence loss based on the theory of persistent homology. The loss compares the topographic landscape of the likelihood map and the topology of the ground truth. Topological reasoning improves the quality of the localization algorithm especially near cluttered regions. On multiple public benchmarks, our method outperforms previous localization methods. Additionally, we demonstrate the potential of our method in improving the performance in the crowd counting task.

연구 동기 및 목표

• 밀도가 높은 영역에서 발생하는 공간적 의미 오류, 예를 들어 잘못된 양성 및 음성 결과를 해결하기 위해.
• 예측된 점 배열의 위상 일관성을 강제하여 국소화 품질을 향상시키기 위해.
• 위상적 추론을 활용하여 국소화 및 군중 수세기 작업 양쪽의 성능을 향상시키기 위해.
• 고품질의 국소화 맵이 밀도 기반 수세기 모델의 성능을 크게 향상시킬 수 있음을 보여주기 위해.

제안 방법

• 국소화를 연결된 성분이 정답 점과 일대일로 대응하는 위상 맵을 예측하는 문제로 공식화한다.
• 예측된 가능성 맵의 지형 구조를 진정한 정답의 위상과 비교하기 위해 지속 호몰로지 이론에 기반한 지속성 손실을 도입한다.
• 이 손실은 진정한 정답 점 수 k개에 해당하는 가능성 맵의 상위 k개 모드의 강조를 유도하고, 비상위 k개 모드는 제재함으로써 정확한 위상을 보장한다.
• 모델은 데이터셋의 규모와 해상도에 따라 50×50 또는 100×100 크기의 무작위로 샘플링된 패치에서 局부 위상 제약 조건을 적용하여 훈련된다.
• 지속성 손실은 표준 픽셀 단위 손실(DICE 및 BCE)과 하이퍼파rameter λ=1을 사용하여 결합되어 최적의 성능을 달성한다.
• 최종 이진 마스크는 가능성 맵을 0.5로 임계값 설정하여 도출되며, 이로 인해 정답 점 수 k개에 대해 정확히 k개의 연결 성분을 가진 맵이 생성된다.

실험 결과

연구 질문

• RQ1 위상적 제약 조건이 특히 밀도가 높고 혼잡한 영역에서 국소화 정확도를 향상시킬 수 있는가?
• RQ2 지속 호몰로지가 예측된 점의 정확한 공간적 배열을 강제하는 미분 가능한 손실로 효과적으로 활용될 수 있는가?
• RQ3 위상적 추론을 통합함으로써 군중 국소화에서 잘못된 양성 및 음성 결과가 감소하는가?
• RQ4 고품질의 국소화 맵은 최신 기술 수준의 밀도 기반 군중 수세기 모델의 성능을 향상시킬 수 있는가?

주요 결과

• TopoCount는 여러 공개 벤치마크에서 이전의 국소화 방법보다 우수한 성능을 보이며, 국소화 지표에서 최신 기술 수준의 정확도를 확보한다.
• 제거 분석 결과, 지속성 손실을 사용할 경우 BCE 또는 DICE 손실만 사용하는 것보다 오차가 감소하며, λ=1에서 최적의 성능을 기록한다.
• ShanghaiTech 및 UCF CC 50에는 50×50 패치 크기가 최적이었고, UCF QNRF 및 JHU++와 같은 고해상도, 스케일 변동 가능한 데이터셋에는 100×100 패치 크기가 더 우수했다.
• 보조 입력으로 사용될 경우, TopoCount는 다양한 벤치마크에서 최신 기술 수준의 밀도 기반 모델의 수세기 성능을 7%에서 28%까지 향상시켰다.
• 이 방법은 밀도 맵에서 손실된 위상적 구조를 유지함으로써, 후속 작업에 필수적인 공간적 배열을 복원할 수 있다.
• 지속성 손실은 가능성 맵의 정확한 모드 구조를 효과적으로 촉진하여, 도전적인 밀도 높은 영역에서도 정확하고 강력한 국소화를 가능하게 한다.