[논문 리뷰] NAS-Count: Counting-by-Density with Neural Architecture Search

Yutao Hu, Xiaolong Jiang외 5명|arXiv (Cornell University)|2020. 02. 29.

Video Surveillance and Tracking Methods참고 문헌 90인용 수 5

한 줄 요약

NAS-Count는 인파 계수 기반 인파 수세기 작업을 위해 종단간 신경망 아키텍처 탐색 프레임워크를 제안한다. 이는 다중 척도 인코더-디코더 네트워크(AMSNet)와 스케일 피라미드 풀링 손실(SPPLoss)를 자동으로 설계한다. 이중 탐색 공간과 미분 가능 아키텍처 탐색을 활용하여 네 가지 벤치마크 데이터셋에서 최고 성능을 기록하며, 수동으로 설계된 모델들을 능가하는 높은 정확도와 밀도 맵 품질을 확보한다.

ABSTRACT

Most of the recent advances in crowd counting have evolved from hand-designed density estimation networks, where multi-scale features are leveraged to address the scale variation problem, but at the expense of demanding design efforts. In this work, we automate the design of counting models with Neural Architecture Search (NAS) and introduce an end-to-end searched encoder-decoder architecture, Automatic Multi-Scale Network (AMSNet). Specifically, we utilize a counting-specific two-level search space. The encoder and decoder in AMSNet are composed of different cells discovered from micro-level search, while the multi-path architecture is explored through macro-level search. To solve the pixel-level isolation issue in MSE loss, AMSNet is optimized with an auto-searched Scale Pyramid Pooling Loss (SPPLoss) that supervises the multi-scale structural information. Extensive experiments on four datasets show AMSNet produces state-of-the-art results that outperform hand-designed models, fully demonstrating the efficacy of NAS-Count.

연구 동기 및 목표

• 다중 척도 인파 수세기 모델의 자동 설계를 통해 수동 아키텍처 엔지니어링에 대한 의존도를 줄이기.
• 스케일 변동성을 다루기 위해 네트워크 아키텍처와 손실 함수를 종단간으로 함께 탐색하기.
• 기능 추출과 융합을 균형 있게 조절하는 계수 전용 이중 탐색 공간을 설계하여 성능 향상 도모하기.
• MSE 손실에서 발생하는 픽셀 수준의 고립 문제를 해결하기 위해 다중 척도 감독 메커니즘을 탐색하기.
• NAS가 인파 수세기와 같은 픽셀 수준의 회귀 작업에서 수작업으로 설계된 모델을 능가할 수 있음을 입증하기.

제안 방법

• 빠른 아키텍처 탐색을 가능하게 하기 위해 기울기 기반 최적화를 활용하는 미분 가능 일괄 탐색 전략을 적용한다.
• 이중 탐색 공간을 설계: 마이크로 수준 탐색은 확장된 컨볼루션과 제한된 풀링을 통해 공간 해상도를 유지하는 다중 척도 셀을 탐색하고, 마크로 수준 탐색은 기능 융합을 위한 다중 경로 인코더-디코더 아키텍처를 탐색한다.
• 네트워크 아키텍처인 AMSNet은 다중 척도 기능 추출과 계층적 융합을 통합한 탐색된 셀들로 구성된다.
• 밀도 맵 내 다중 척도 구조적 정보를 감독하기 위해 네트워크와 함께 자동으로 탐색된 스케일 피라미드 풀링 손실(SPPLoss)이 함께 설계된다.
• SPPLoss는 탐색된 연산을 포함한 피라미드 풀링 구조를 사용하여 표준 MSE 손실을 초월하는 감독을 강화한다.
• 인파 수세기 작업에 맞게 조정된 PC-DARTS 프레임워크를 활용해 AMSNet과 SPPLoss를 공동으로 종단간 탐색한다.

실험 결과

연구 질문

• RQ1 스케일 변동성이 존재하는 픽셀 수준의 회귀 작업인 인파 계수 기반 수세기 작업에 대해 신경망 아키텍처 탐색이 효과적으로 적용될 수 있는가?
• RQ2 네트워크 아키텍처와 손실 함수를 동시에 최적화할 수 있는 이중 탐색 공간을 어떻게 설계할 수 있는가? 이는 다중 척도 기능 학습 향상에 기여한다.
• RQ3 자동으로 탐색된 손실 함수(SPPLoss)가 밀도 맵의 구조적 정보를 감독하는 데 있어 수작업으로 설계된 손실 함수를 능가할 수 있는가?
• RQ4 NAS-Count는 표준 인파 수세기 벤치마크에서 수작업으로 설계된 모델들을 능가하는 성능을 기록하는가?
• RQ5 탐색 과정을 통해 다양한 데이터셋에 일반화 가능한 컴act하면서도 정확한 모델을 도출할 수 있는가?

주요 결과

• AMSNet은 상하이테크 Part_A 및 Part_B 데이터셋에서 최고 성능을 기록하며, 가장 낮은 MAE와 경쟁 가능한 MSE를 확보한다.
• UCF_CC_50에서 AMSNet은 두 번째로 낮은 MAE와 MSE를 기록하며, CAN을 초월하는 MSE 성능을 확보하고 대부분의 방법보다 낮은 MAE를 유지한다.
• 극도의 밀도 변동성이 존재하는 가장 도전적인 데이터셋인 UCF-QNRF에서 AMSNet은 두 번째로 낮은 MAE와 MSE를 기록하며 스케일 변동성에 대한 강건성을 입증한다.
• WorldExpo’10에서 AMSNet은 다섯 개의 장면에서 평균 MAE가 두 번째로 낮고, 세 개의 개별 장면에서 1위를 기록한다.
• AMSNet은 밀도 맵 품질에서 최고의 PSNR(86.4)와 SSIM(0.987)를 기록하며, 두 번째로 좋은 방법보다 각각 4.4%와 7.2% 향상된 성능을 보인다.
• 256채널을 가진 경량 버전인 AMSNet_light는 세 번째로 낮은 모델 크기를 기록하며 여전히 가장 높은 품질의 밀도 맵을 생성하여 효율성과 효과성을 입증한다.