[논문 리뷰] Towards Unsupervised Crowd Counting via Regression-Detection Bi-knowledge Transfer

Yuting Liu, Zheng Wang외 4명|arXiv (Cornell University)|2020. 08. 12.

Video Surveillance and Tracking Methods참고 문헌 39인용 수 6

한 줄 요약

이 논문은 레이블이 없는 타겟 도메인으로의 전이를 위해 회귀 기반 및 검출 기반 모델에서 유사한 특징을 가지는 스캐너-오버러스 트랜스포머를 사용하여 상호 지식 정착을 통해 이중 지식을 전달하는 비지도 군중 수세기 방법을 제안한다. 이 방법은 융합된 가짜 레이블을 사용하여 두 모델을 반복적으로 공동 학습하며, ShanghaiTech, UCF_CC_50, UCF_QNRF 벤치마크에서 기존 방법에 비해 MAE와 MSE 모두에 있어 뚜렷한 향상을 이룩하여 최신 기술 수준에 도달한다.

ABSTRACT

Unsupervised crowd counting is a challenging yet not largely explored task. In this paper, we explore it in a transfer learning setting where we learn to detect and count persons in an unlabeled target set by transferring bi-knowledge learnt from regression- and detection-based models in a labeled source set. The dual source knowledge of the two models is heterogeneous and complementary as they capture different modalities of the crowd distribution. We formulate the mutual transformations between the outputs of regression- and detection-based models as two scene-agnostic transformers which enable knowledge distillation between the two models. Given the regression- and detection-based models and their mutual transformers learnt in the source, we introduce an iterative self-supervised learning scheme with regression-detection bi-knowledge transfer in the target. Extensive experiments on standard crowd counting benchmarks, ShanghaiTech, UCF\_CC\_50, and UCF\_QNRF demonstrate a substantial improvement of our method over other state-of-the-arts in the transfer learning setting.

연구 동기 및 목표

• 타겟 도메인에서 레이블이 제공되지 않는 교차 도메인 환경에서 비지도 군중 수세기의 과제를 해결하기 위해.
• 회귀 기반 모델(고밀도 군중에 유리함)과 검출 기반 모델(저밀도 환경에 적합함)의 상호보완적 강점을 지식 정착을 통해 활용하기 위해.
• 모델 출력 간 상호 변환을 학습하여 레이블이 있는 소스 도메인에서 레이블이 없는 타겟 도메인으로 효과적인 전이 학습을 가능하게 하기 위해.
• 융합된 가짜 레이블을 사용하여 타겟 도메인에서 회귀 및 검출 성능을 향상시키는 자기지도 학습 기반 반복적 공동 학습 프레임워크를 개발하기 위해.

제안 방법

• 회귀 모델과 검출 모델 간의 출력을 상호 변환할 수 있도록, 두 개의 스캐너-오버러스 트랜스포머(Reg-to-Det 및 Det-to-Reg)를 학습하여 상호 지식 정착을 가능하게 한다.
• 목표 도메인에서의 정확도 향상을 위해 DMS-SSIM을 활용한 새로운 포커스 MSE 손실을 사용하여 Reg-to-Det 트랜스포머를 학습한다.
• 반복적 자기지도 학습을 적용: 각 반복 단계에서 두 모델이 융합된 가짜 레이블(밀도 맵 및 바운딩 박스)을 생성하고, 이를 통해 양 모델을 개선한다.
• 검출 결과를 가우시안 컨볼루션을 통해 밀도 맵으로 변환하고, 역으로 디컨볼루션 유사 연산을 통해 원래의 검출 결과로 복원함으로써 회귀 및 검출 출력을 융합한다.
• 이중 분기 네트워크 아키텍처를 활용하여, 한 모odal의 가짜 레이블을 기반으로 다른 모달의 회귀 및 검출 헤드를 함께 최적화한다.
• 소스 도메인에서 데이터의 소량(30%)만을 사용하여 Reg-to-Det 트랜스포머를 학습함으로써, 그가 스캐너-오버러스 성격을 띠며 일반화 능력이 뛰어나다는 것을 입증한다.

실험 결과

연구 질문

• RQ1 회귀 기반 및 검출 기반 군중 수세기 모델 간의 상호보완적 지식이 비지도 도메인 적응 환경에서 효과적으로 전달될 수 있는가?
• RQ2 회귀 및 검출 모델의 이질적인 출력 간에 상호 지식 정착을 어떻게 수학적으로 정의할 수 있는가?
• RQ3 스캐너-오버러스 트랜스포머는 얼마나 효과적으로 도메인 간 모델 간 지식 전달을 가능하게 하는가?
• RQ4 융합된 가짜 레이블을 사용한 반복적 자기지도 학습 기반 공동 학습이 레이블이 없는 타겟 데이터에서 성능 향상에 기여하는가?

주요 결과

• 제안된 방법은 비지도 전이 학습 설정에서 ShanghaiTech, UCF_CC_50, UCF_QNRF 벤치마크에서 새로운 최신 기술 수준의 성능을 달성하였다.
• ShanghaiTech 데이터셋(SHB → SHA)에서 MAE는 112.24로 감소하고 MSE는 218.18로 하락하여 기존 최신 기술 수준 방법을 뛰어넘었다.
• 소스 데이터의 30%만을 사용하여 학습한 Reg-to-Det 트랜스포머는 A→Q에서 0.406 mAP, A→B에서 0.610 mAP를 기록하여 강력한 일반화 능력과 스캐너-오버러스 성격을 입증하였다.
• 절단 분석 결과, 융합 및 자기지도 반복 학습을 포함한 전체 방법이 가장 뛰어난 성능을 보였으며, MAE는 112.24, mAP는 0.661을 기록하여 융합 없거나 무작위 샘플링을 사용한 변형보다 뛰어났다.
• 반복적 공동 학습 과정은 4회 반복 이후 안정화되며, 그 이후에는 성능 향상이 미미하여 수렴성과 강건성을 보여주었다.
• Reg-to-Det 트랜스포머에 포커스 MSE와 DMS-SSIM 손실을 적용한 결과, A→Q에서 0.448 mAP를 기록하여 표준 MSE 손실(0.347)과 포커스 CE 손실(0.399)보다 유의미하게 뛰어난 성능을 보였다.