[논문 리뷰] SOFA-Net: Second-Order and First-order Attention Network for Crowd Counting

Haoran Duan, Shidong Wang외 1명|arXiv (Cornell University)|2020. 08. 09.

Video Surveillance and Tracking Methods참고 문헌 15인용 수 7

한 줄 요약

SOFA-Net은 밀도 높은 군중 상황에서 특징 표현을 향상시키기 위해 이阶 및 일阶 통계적 특징을 활용하는 새로운 딥러닝 프레임워크를 제안한다. Statistic-Wise Convolution과 다중 스트림 주의 구조를 도입함으로써 밀도 맵 회귀 성능을 향상시켜 네 개의 공개 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 상하이기술 대학 Part A에서 57.5 MAE를 기록하였다.

ABSTRACT

Automated crowd counting from images/videos has attracted more attention in recent years because of its wide application in smart cities. But modelling the dense crowd heads is challenging and most of the existing works become less reliable. To obtain the appropriate crowd representation, in this work we proposed SOFA-Net(Second-Order and First-order Attention Network): second-order statistics were extracted to retain selectivity of the channel-wise spatial information for dense heads while first-order statistics, which can enhance the feature discrimination for the heads' areas, were used as complementary information. Via a multi-stream architecture, the proposed second/first-order statistics were learned and transformed into attention for robust representation refinement. We evaluated our method on four public datasets and the performance reached state-of-the-art on most of them. Extensive experiments were also conducted to study the components in the proposed SOFA-Net, and the results suggested the high-capability of second/first-order statistics on modelling crowd in challenging scenarios. To the best of our knowledge, we are the first work to explore the second/first-order statistics for crowd counting.

연구 동기 및 목표

• 기존 방법이 특징 표현이 열악하여 실패하는 밀도가 높고 가림이 심한 장면에서 정확한 군중 수세기의 과제를 해결하기 위해.
• 어려운 상황에서 군중 패턴을 모델링하기 위해 이阶 및 일阶 통계적 특징의 타당성과 효율성을 탐색하기 위해.
• 이阶 및 일阶 통계를 통합하는 다중 스트림 주의 메커니즘을 설계하여 밀도 맵 예측을 정교화하기 위해.
• Statistic-Wise Convolution, 정규화 마스크, 스케일 향상과 같은 맞춤형 구성 요소를 통해 밀도 맵 회귀 품질을 향상시키기 위해.
• 이阶 및 일阶 통계의 상호 보완성이 특징의 분류 능력과 공간 선택성 향상에 기여하는지를 경험적으로 검증하기 위해.

제안 방법

• 모델은 밀도 높은 머리 부위에 대한 표현을 향상시키기 위해 특징 맵에서 이阶(SO) 및 일阶(FO) 통계적 특징을 학습하기 위한 다중 스트림 아키텍처를 활용한다.
• 이阶 및 일阶 통계를 학습 가능한 주의 맵으로 변환하여 특징 정교화를 위한 Statistic-Wise Convolution 연산을 제안한다.
• 이阶 통계는 밀도 높은 머리 부위에서 공간 선택성과 높은 가능성을 유지하며, 일阶 통계는 머리 부위의 특징 분류 능력을 향상시킨다.
• 비머리 부위에서의 잡음 출력을 억제하고 밀도 맵 스케일링을 위해 엔드 투 엔드로 훈련되는 정규화 마스크가 존재한다. 이는 회귀 정확도를 향상시킨다.
• 특징 스트림과 작업 간의 효율적 공동 최적화를 가능하게 하기 위해, 네트워크는 3스트림 가중치 공유 기반의 파라미터 공유 기법을 사용한다.
• 스케일 향상 및 정규화 전략이 적용되어, 특히 대규모 군중 상황에서 생성된 밀도 맵의 품질을 향상시킨다.

실험 결과

연구 질문

• RQ1 이阶 및 일阶 통계적 특징은 밀도가 높고 가림이 심한 상황에서 군중 표현을 향상시킬 수 있는가?
• RQ2 이阶 및 일阶 통계는 군중 밀도 패턴을 모델링할 때 어떻게 상호 보완적인가?
• RQ3 이阶 및 일阶 통계를 통합할 경우 밀도 맵 회귀 성능에 어떤 영향을 미치는가?
• RQ4 제안된 Statistic-Wise Convolution은 통계적 특징을 주의 맵으로 변환하는 데 얼마나 효과적인가?
• RQ5 가중치 공유 기반의 정규화 마스크는 비공유 또는 전체 공유 기반 대비 밀도 맵 품질 향상에 얼마나 효과적인가?

주요 결과

• 제안된 SOFA-Net은 도전적인 상하이기술 대학 Part A 데이터셋에서 평균 절대 오차(MAE) 57.5를 기록하여 이전 최신 기술 수준의 방법들을 초월하였다.
• 이阶 통계 주의 기반 기여가 가장 컸으며, 주의 기반 없이 MAE 68.6에서 주의 기반으로 60.8로 감소시켰다.
• 이阶 및 일阶 특징의 조합이 가장 우수한 성능을 보였으며, 상하이기술 대학 Part A에서 MAE 57.5와 MSE 92.1을 기록하였다.
• 절단 실험을 통해 3스트림 가중치 공유 기반 정규화 마스크가 비공유 또는 전체 공유 대비 성능 향상에 뚜렷한 기여를 했다.
• 정성적 결과에서는 이阶 특징이 정확한 머리 가능성도 유지하였고, 일阶 특징은 경계 분류 능력을 향상시켰으며, 두 특징의 융합은 가장 선명하고 정확한 밀도 맵을 생성하였다.
• 모델는 극한 상황에서도 뛰어난 강건성을 보였으며, 수천 명이 넘는 사람들이 있는 장면에서도 정확한 밀도 맵을 생성하였다.