[논문 리뷰] Weighing Counts: Sequential Crowd Counting by Reinforcement Learning

Liang Liu, Hao Lü외 4명|arXiv (Cornell University)|2020. 07. 16.

Video Surveillance and Tracking Methods참고 문헌 50인용 수 4

한 줄 요약

이 논문은 스케일 저울을 모델링한 순차적 결정 문제로 counting을 공식화하는 새로운 군중 수세기 방법인 LibraNet을 제안한다. 이는 딥 강화학습을 활용해 진짜 군중 수를 근사하기 위해 반복적으로 무게(행동)를 선택한다. 이는 딥 Q-네트워크(DQN) 기반의 균형 임무로 계수 추정 과정을 모델링함으로써 상하이테크, UCF_CC_50, UCF-QNRF 벤치마크에서 최신 기술(SOTA) 성능을 달성한다. 에이전트는 시뮬레이션된 저울의 바늘(큐-값)에서 피드백을 받아 오차를 최소화하도록 학습한다.

ABSTRACT

We formulate counting as a sequential decision problem and present a novel crowd counting model solvable by deep reinforcement learning. In contrast to existing counting models that directly output count values, we divide one-step estimation into a sequence of much easier and more tractable sub-decision problems. Such sequential decision nature corresponds exactly to a physical process in reality scale weighing. Inspired by scale weighing, we propose a novel 'counting scale' termed LibraNet where the count value is analogized by weight. By virtually placing a crowd image on one side of a scale, LibraNet (agent) sequentially learns to place appropriate weights on the other side to match the crowd count. At each step, LibraNet chooses one weight (action) from the weight box (the pre-defined action pool) according to the current crowd image features and weights placed on the scale pan (state). LibraNet is required to learn to balance the scale according to the feedback of the needle (Q values). We show that LibraNet exactly implements scale weighing by visualizing the decision process how LibraNet chooses actions. Extensive experiments demonstrate the effectiveness of our design choices and report state-of-the-art results on a few crowd counting benchmarks. We also demonstrate good cross-dataset generalization of LibraNet. Code and models are made available at: https://git.io/libranet

연구 동기 및 목표

• 밀도가 높고, 가림이 많으며, 크기가 다양한 군중에 대해 직접 회귀 기반 수세기 모델이 어려움을 겪는 점을 해결하기 위해.
• 인간의 수세기 행동과 물리적 저울 측정을 모델링한 순차적 결정 문제로 군중 수세기를 모델링하기 위해.
• 강화학습을 활용해 전역 수세기 추정을 다룰 수 있는 하위 결정들로 분해함으로써 정확도와 일반화 능력을 향상시키기 위해.
• 기존 국소 수세기 추정 모델에 즉각 통합할 수 있도록 하여 성능 향상을 이루기 위해.
• 장황한 시각 조건(예: 흐림, 조명 변화 등)에서도 견고하고 다양한 데이터셋 간 일반화 능력을 입증하기 위해.

제안 방법

• 에이전트(LibraNet)가 진짜 군중 수를 맞추기 위해 가상의 저울에 무게를 놓는 방식으로 군중 수세기를 순차적 결정 문제로 공식화한다. 이는 물리적 저울 측정과 유사하다.
• 이미지 특징과 현재 저울 상태(이전에 놓은 무게의 합)를 기반으로 최적의 무게 선택 정책을 학습하기 위해 딥 Q-네트워크(DQN)를 사용한다.
• 에이전트가 각 단계에서 선택할 수 있는 이산적 무게 값의 사전 정의된 액션 풀(예: ±0.01, ±0.02, ..., ±5)을 정의한다.
• 현재 총 무게와 진짜 값 간의 편차를 기반으로 보상 함수를 정의하며, 학습을 이끄는 데는 바늘의 위치(큐-값)에서 온 피드백을 사용한다.
• 이중 단계 파이프라인을 도입한다. 첫 번째 단계에서는 국소 수세기 모델(예: TasselNetv2)이 패치 수준의 수를 생성하고, 두 번째 단계에서는 LibraNet이 순차적 행동 선택을 통해 이를 집계하여 최종 전역 수를 도출한다.
• 이산 간격 예측에서 연속적인 수치를 복원하기 위해 역-양자화를 적용함으로써, 이 방법이 회귀 기반으로 적응 가능하게 한다.

실험 결과

연구 질문

• RQ1 군중 수세기를 인간의 수세기 행동을 모방하는 순차적 결정 문제로 효과적으로 모델링할 수 있는가?
• RQ2 강화학습을 사용해 가상의 저울을 균형 잡는 방식으로 수세기 추정을 설계하면, 직접 회귀 방식보다 정확도와 견고성이 향상되는가?
• RQ3 상하이테크, UCF_CC_50, UCF-QNRF와 같은 표준 군중 수세기 벤치마크에서 LibraNet은 최신 기술 모델들과 비교해 어떻게 성능을 내는가?
• RQ4 특히 장긴 분포 데이터나 다양한 이미지 품질 변화가 있는 상황에서 LibraNet은 얼마나 잘 다양한 데이터셋 간에 일반화되는가?
• RQ5 제안된 방법이 기존 국소 수세기 추정 모델에 즉각 통합되어 성능 향상을 이끌 수 있는가?

주요 결과

• LibraNet는 상하이테크 Part_A, Part_B, UCF_CC_50, UCF-QNRF 벤치마크에서 최신 기술 성능을 달성하며, TasselNetv2 및 기타 최신 기술 모델들을 능가한다.
• 메타 분석 결과, 상하이테크에서 UCF-QNRF 및 UCF_CC_50로의 데이터셋 간 일반화 능력이 뛰어나, 미세조정 없이도 잘 작동함을 확인했다.
• 제거 분석 결과, 액션 풀과 보상 함수의 설계가 성능 향상에 크게 기여하며, 전체 LibraNet 설정이 가장 우수한 성능을 내는 것으로 확인되었다.
• 결정 과정의 시각화 결과, LibraNet가 효과적으로 저울 측정 방식을 구현하고 있음을 확인했다: 진짜 수치에 가까워질수록 큰 무게 조정에서 시작해 점차 작은 무게로 정밀 조정한다.
• TasselNetv2에 LibraNet을 플러그인 방식으로 통합하면 성능 향상이 뚜렷하게 나타나, 이 방법의 호환성과 효과성을 입증했다.
• 실패 사례 분석 결과, 장기적인 분포(예: 장긴 분포)나 흐림, 낮은 조명 조건 등 극단적인 조건에서는 성능 저하가 발생함을 확인했으며, 향후 개선이 필요한 영역임을 시사했다.