[논문 리뷰] Few-Shot Scene Adaptive Crowd Counting Using Meta-Learning

Mahesh Kumar Krishna Reddy, Mohammad Asiful Hossain외 2명|arXiv (Cornell University)|2020. 02. 01.

Video Surveillance and Tracking Methods참고 문헌 30인용 수 13

한 줄 요약

이 논문은 소수의 레이블된 이미지로 새로운 카메라 환경에 빠르게 적응할 수 있도록 하는 소수 샘플 시나리오 적응형 인파 수세기 위한 메타학습 접근법을 제안한다. MAML을 통해 일반화 가능한 모델 파라미터를 학습함으로써, 최소한의 레이블 데이터로도 교차 시나리오 적응에서 표준 미세조정 기반 방법과 이전 최고 성능 방법들을 능가하는 뛰어난 정확도를 달성한다.

ABSTRACT

We consider the problem of few-shot scene adaptive crowd counting. Given a target camera scene, our goal is to adapt a model to this specific scene with only a few labeled images of that scene. The solution to this problem has potential applications in numerous real-world scenarios, where we ideally like to deploy a crowd counting model specially adapted to a target camera. We accomplish this challenge by taking inspiration from the recently introduced learning-to-learn paradigm in the context of few-shot regime. In training, our method learns the model parameters in a way that facilitates the fast adaptation to the target scene. At test time, given a target scene with a small number of labeled data, our method quickly adapts to that scene with a few gradient updates to the learned parameters. Our extensive experimental results show that the proposed approach outperforms other alternatives in few-shot scene adaptive crowd counting. Code is available at https://github.com/maheshkkumar/fscc.

연구 동기 및 목표

• 제한된 레이블된 데이터로 새로운 카메라 시나리오에 정확한 인파 수세기 모델을 구현하는 데 도전한다.
• 일반화를 위해 대규모이고 다양한 훈련 데이터가 필요로 하는 기존 방법의 한계를 극복한다.
• 메타학습을 통해 1~5장의 레이블된 이미지만으로도 목표 시나리오에 빠르게 적응할 수 있도록 한다.
• 최종 레이어뿐 아니라 모든 디코더 파라미터의 적응을 允허함으로써 표준 미세조정보다 성능을 향상시킨다.
• 다양한 데이터셋 간의 일반화 능력을 입증하며, 실제 감시 환경에서의 도메인 스플릿에 대한 강건성을 보여준다.

제안 방법

• 새로운 시나리오에 대한 빠른 적응을 지원하는 초기 모델 파라미터를 학습하기 위해 모델 독립 메타학습(MAML) 프레임워크를 채택한다.
• 메타학습 기간 동안, 각각 소량의 레이블된 이미지로 구성된 지원 세트를 가진 시나리오의 분포에서 모델 파라미터를 최적화한다.
• 테스트 시점에, 목표 시나리오의 새로운 레이블된 이미지 1~5장에 대해 메타학습된 모델을 기울기 업데이트를 사용해 미세조정한다.
• 밀도 맵 회귀를 위한 기본 모델로 이전 최고 성능 인파 수세기 방법의 백본 네트워크(예: [16])를 사용한다.
• 목표 시나리오의 지원 세트에서 몇 번의 기울기 스텝 이후 기대 손실을 최소화하기 위해 메타최적화를 적용한다.
• 복잡한 시나리오에서 국소화 및 수세기 정확도를 향상시키기 위해 ROI 인식 적응 모듈(Ours w/ ROI)을 도입한다.

실험 결과

연구 질문

• RQ1 메타학습이 1~5장의 레이블된 이미지로만 새로운 카메라 시나리오에 대해 효과적인 소수 샘플 적응을 가능하게 할 수 있는가?
• RQ2 정확도 및 수렴 속도 측면에서 메타학습 기반 적응은 표준 미세조정보다 어떻게 비교되는가?
• RQ3 제안된 방법은 WorldExpo’10, Mall, UCSD와 같은 다양한 데이터셋 간에 일반화되는가?
• RQ4 다양한 메타학습 프레임워크(MAML 대 [20] 또는 [23])가 적응 성능에 어떤 영향을 미치는가?
• RQ5 기존 작업 [10]이 디코더의 마지막 두 레이어만 미세조정하는 것보다 더 높은 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 WorldExpo’10, Mall, UCSD 데이터셋에서 표준 기준 모델, 표준 미세조정 및 이전 최고 성능 방법을 모두 능가한다.
• WorldExpo’10 데이터셋에서 5샷 적응 시 평균 절대 오차(MAE)가 12.4를 기록하여 기준 모델(표준 미세조정 모델, MAE: 15.8)보다 유의미하게 낮다.
• 1장의 레이블된 이미지만으로도 MAE가 14.2를 달성하여 강력한 소수 샘플 일반화 능력을 입증한다.
• 제거 분석 결과, 더 높은 훈련 복잡도에도 불구하고 MAML 기반 메타학습이 [20] 및 [23]과 같은 대안적 프레임워크보다 성능이 뛰어나다.
• 시각화 결과, 제안된 방법이 기준 모델보다 특히 붐비고 복잡한 시나리오에서 실제값에 더 가까운 밀도 맵을 예측함을 확인한다.
• ROI 인식 적응 모듈(Ours w/ ROI)을 적용한 방법은 성능을 추가로 향상시켜 공간적으로 인지된 적응의 이점이 있음을 시사한다.