[논문 리뷰] Point-Query Quadtree for Crowd Counting, Localization, and More

Chengxin Liu, Hao Lu외 2명|arXiv (Cornell University)|2023. 08. 26.

Video Surveillance and Tracking Methods인용 수 4

한 줄 요약

이 논문은 포인트 쿼리 쿼드트리(PET)를 제안하며, 이를 통해 집단 수세기 및 위치 특정을 위한 새로운 트랜스포머 기반 프레임워크를 개발한다. PET는 집단 수세기를 분해 가능한 포인트 쿼리 프로세스로 간주한다. 밀도가 높은 영역에서 데이터에 따라 동적으로 쿼리를 분할하는 데이터 의존적 쿼드트리와 효율적인 추론을 위한 점진적 사각형 창 attention을 사용함으로써, PET는 상위 성능을 달성한다 (상하이테크 PartA에서 MAE 49.34). 또한, 완전 지도 학습 수세기, 부분 애너테이션 학습, 포인트 애너테이션 정밀화와 같은 다양한 학습 철학에 통합된 모델링을 가능하게 한다.

ABSTRACT

We show that crowd counting can be viewed as a decomposable point querying process. This formulation enables arbitrary points as input and jointly reasons whether the points are crowd and where they locate. The querying processing, however, raises an underlying problem on the number of necessary querying points. Too few imply underestimation; too many increase computational overhead. To address this dilemma, we introduce a decomposable structure, i.e., the point-query quadtree, and propose a new counting model, termed Point quEry Transformer (PET). PET implements decomposable point querying via data-dependent quadtree splitting, where each querying point could split into four new points when necessary, thus enabling dynamic processing of sparse and dense regions. Such a querying process yields an intuitive, universal modeling of crowd as both the input and output are interpretable and steerable. We demonstrate the applications of PET on a number of crowd-related tasks, including fully-supervised crowd counting and localization, partial annotation learning, and point annotation refinement, and also report state-of-the-art performance. For the first time, we show that a single counting model can address multiple crowd-related tasks across different learning paradigms. Code is available at https://github.com/cxliu0/PET.

연구 동기 및 목표

• 완전 지도 학습 수세기, 위치 특정, 부분 애너테이션 학습, 포인트 애너테이션 정밀화와 같은 다양한 집단 관련 작업을 단일 해석 가능한 프레임워크로 통합하는 것.
• 포인트 기반 집단 모델링에서 고정된 쿼리 수의 과제를 해결하는 것 — 너무 적은 쿼리 수는 과소 추정을 유도하고 너무 많은 쿼리 수는 계산 비용을 증가시킨다.
• 계층적인 쿼드트리 구조를 통해 흩어진 영역과 밀도가 높은 영역을 동적으로 데이터 의존적으로 처리하는 것.
• 지역적 컨텍스트를 더 적은 메모리 사용으로 캡처함으로써 추론 효율성과 표현 학습을 향상시키기 위해 점진적 사각형 창 어텐션을 도입하는 것.
• 각 쿼리 포인트가 사람 또는 배경과 물리적으로 대응하는 직관적이고 조작 가능하며 해석 가능한 집단 모델링을 제공하는 것.

제안 방법

• PET는 임의의 입력 포인트를 사용하여 각 포인트가 사람인지 여부와 그 위치를 예측하는 방식으로 집단 수세기를 분해 가능한 포인트 쿼리 프로세스로 설정한다.
• 포인트 쿼리 쿼드트리 구조는 데이터 의존적 분할을 가능하게 하며, 각 쿼리 포인트가 밀도가 높은 영역에서 네 개의 새로운 포인트로 분할되어 국소 밀도에 따라 동적으로 적응한다.
• 모델은 이미지 특징을 추출하기 위해 CNN 백본을 사용하고, 국소 공간 창 내의 컨텍스트를 인코딩하기 위해 점진적 사각형 창 어텐션을 갖춘 트랜스포머 인코더를 사용한다.
• 트랜스포머 디코더는 포인트 쿼리를 동시에 처리하며, 지역적 사각형 창 내에서 어텐션을 계산함으로써 계산 비용을 줄이고 효율성을 향상시킨다.
• 최종 예측 헤드는 각 포인트에 대해 확률과 바운딩 박스 좌표를 출력하여 '사람' 또는 '배경'으로 분류한다.
• 점진적 사각형 창 어텐션 메커니즘은 인코더와 디코더 양쪽 모두에 적용되며, 시각적 사전 지식에 더 잘 부합하는 점유도로 인해 사각형 창 어텐션은 정사각형 또는 전역 어텐션보다 성능이 뛰어나다.

실험 결과

연구 질문

• RQ1 완전 지도 학습, 부분 애너테이션, 포인트 정밀화와 같은 다양한 학습 철학에 걸쳐 단일 해석 가능한 프레임워크를 사용해 집단 수세기를 통합할 수 있는가?
• RQ2 사전에 쿼리 수를 정의하지 않고도 포인트 기반 쿼리 메커니즘이 다양한 집단 밀도에 동적으로 적응할 수 있는가?
• RQ3 지역적 점진적 어텐션 메커니즘이 고해상도 집단 영상에서 추론 효율성과 성능에 어떤 영향을 미치는가?
• RQ4 쿼드트리 기반 구조가 흩어진 영역과 밀도가 높은 영역 모두에서 계산 비용과 정확도 사이의 균형을 효과적으로 유지할 수 있는가?
• RQ5 포인트 쿼리의 해석 가능성은 모델의 투명성과 작업 적응성에 어느 정도 기여하는가?

주요 결과

• PET는 상하이테크 PartA 벤치마크에서 최상의 평균 절대 오차(MAE) 49.34를 기록하여 이전 방법들을 능가한다.
• 포인트 쿼리 쿼드트리 구조는 기준 포인트 쿼리 대비 상하이테크 PartA에서 약 4의 MAE 감소와 UCF-QNRF에서 약 11의 MAE 감소를 이끌어내어 흩어진 영역과 밀도가 높은 영역을 더 잘 처리함으로써 성능 향상을 이룬다.
• 점진적 사각형 창 어텐션은 성능 향상에 크게 기여하며, 디코더에만 적용했을 때 51.93의 MAE를 기록했고, 인코더와 디코더 양쪽에 적용했을 때는 49.34의 MAE를 기록하여 정사각형 또는 전역 어텐션보다 뛰어난 성능을 보였다.
• PET는 오직 20.9M 파라미터만을 사용하며, 1024×1024 입력에 대해 추론 시간이 0.097초로, P2PNet 및 CLTR와 같은 방법들보다도 파라미터 효율성이 뛰어나다.
• 어텐션 맵의 시각화 결과는 모델이 사각형 창 내에서 유사한 집단 패턴을 주목함을 확인하여 효과적인 국소 컨텍스트 인코딩이 이루어지고 있음을 시사한다.
• 모델은 다양한 학습 철학에 걸쳐 강력한 일반화 능력을 보이며, 단일 아키텍처로 완전 지도 학습 수세기, 부분 애너테이션 학습, 포인트 애너테이션 정밀화를 성공적으로 처리한다.