[논문 리뷰] Semi-Supervised Crowd Counting via Self-Training on Surrogate Tasks

Yan Liu, Lingqiao Liu외 3명|arXiv (Cornell University)|2020. 07. 07.

Video Surveillance and Tracking Methods참고 문헌 55인용 수 5

한 줄 요약

이 논문은 밀도 지도 회귀에서 유도된 서브티터너리 이진 분할 작업을 통해 자기학습(self-training)을 이용해 일반적인 특징 추출기를 훈련하는 준지도 학습 기반의 군중 수세기 방법을 제안한다. 서로 다른 임계값 기반의 분할 작업 간의 상호관계를 활용하고, 비라벨 데이터로부터 신뢰도 높은 가짜 레이블을 생성함으로써, 라벨이 부족한 밀도 지도를 훨씬 적게 사용하면서도 최신 기술 수준의 성능을 달성하며, 라벨링 비용을 줄이고 모델의 강건성도 향상시킨다.

ABSTRACT

Most existing crowd counting systems rely on the availability of the object location annotation which can be expensive to obtain. To reduce the annotation cost, one attractive solution is to leverage a large number of unlabeled images to build a crowd counting model in semi-supervised fashion. This paper tackles the semi-supervised crowd counting problem from the perspective of feature learning. Our key idea is to leverage the unlabeled images to train a generic feature extractor rather than the entire network of a crowd counter. The rationale of this design is that learning the feature extractor can be more reliable and robust towards the inevitable noisy supervision generated from the unlabeled data. Also, on top of a good feature extractor, it is possible to build a density map regressor with much fewer density map annotations. Specifically, we proposed a novel semi-supervised crowd counting method which is built upon two innovative components: (1) a set of inter-related binary segmentation tasks are derived from the original density map regression task as the surrogate prediction target; (2) the surrogate target predictors are learned from both labeled and unlabeled data by utilizing a proposed self-training scheme which fully exploits the underlying constraints of these binary segmentation tasks. Through experiments, we show that the proposed method is superior over the existing semisupervised crowd counting method and other representative baselines.

연구 동기 및 목표

• 대규모 비라벨 이미지를 준지도 학습 설정에서 활용하여 군중 수세기의 높은 라벨링 비용을 줄이기 위해.
• 노이즈가 있는 비라벨 데이터에서 전체 군중 수세기 모델이 아닌 일반적인 특징 추출기를 훈련시켜 모델의 강건성을 향상시키기 위해.
• 회귀 기반 준지도 학습에서 신뢰할 수 없는 가짜 레이블 문제를 해결하기 위해 서브티터너리 이진 분할 작업을 제안하기 위해.
• 다양한 임계값 기반 분할 작업 간의 구조적 상호관계를 활용하여 자기학습을 위한 더 신뢰도 높은 가짜 레이블을 생성하기 위해.
• 사전 훈련된 특징 추출기가 최소한의 진짜 밀도 지도 라벨을 사용하여 높은 성능의 밀도 지도 회귀를 가능하게 함을 보여주기 위해.

제안 방법

• 밀도 지도 회귀를 다수의 상호연결된 이진 분할 작업 집합으로 재정의하며, 각 작업은 픽셀의 밀도가 사전 정의된 임계값을 초과하는지 여부를 예측한다.
• 각 서브티터너리 작업에 대해, 진짜 라벨 데이터(진짜 가짜 레이블 포함)와 비라벨 데이터(자기학습을 통해 생성된 가짜 레이블 포함)를 모두 사용하여 분류기 예측 모델을 훈련시킨다.
• 예측 결과가 높은 임계값에 대해 참이면 낮은 임계값에 대해서도 참이 되도록 보장하는 논리적 일致성 조건을 도입한 새로운 자기학습 전략을 제안한다.
• 신뢰도 임계값과 작업 간 제약 조건을 사용해 가짜 레이블을 필터링하고 정제함으로써, 비라벨 이미지에 대한 진짜 라벨이 없더라도 신뢰도를 향상시킨다.
• 학습된 특징 추출기를 최종 군중 수세기 모델을 얻기 위해 소량의 라벨이 부여된 밀도 지도로 미세조정한다.
• 이 방법은 ShanghaiTech Part_A 및 UCF-QNRF 데이터셋에서 평가되었으며, 다양한 아키텍처 간에 우수한 일반화 능력과 강건성을 보였다.

실험 결과

연구 질문

• RQ1 밀도 지도 회귀에서 파생된 서브티터너리 이진 분할 작업이 준지도 학습 기반 군중 수세기 성능을 향상시키는가?
• RQ2 다양한 임계값 기반 분할 작업 간의 상호관계 제약 조건을 활용한 자기학습이 비라벨 데이터에 대한 신뢰도 높은 가짜 레이블 생성에 얼마나 효과적인가?
• RQ3 서브티터너리 작업에서 특징 추출기를 사전 훈련하면, 라벨이 적은 밀도 지도 회귀에 더 나은 성능을 내는가?
• RQ4 가짜 레이블 생성에 사용되는 예측 신뢰도 임계값 $t_p$ 와 같은 초모수에 대해 이 방법의 민감도는 얼마나 되는가?
• RQ5 제안된 방법은 다양한 백본 아키텍처와 데이터셋 간에 일반화 가능한가?

주요 결과

• 제안된 방법인 IRAST는 ShanghaiTech Part_A에서 MAE 86.9, UCF-QNRF에서 MAE 135.6을 기록하며, 기존 준지도 학습 방법과 강력한 베이스라인을 능가한다.
• 가짜 레이블 생성 과정에서 상호관계 제약 조건을 제거할 경우 성능이 심각하게 저하되며, 이는 레이블 신뢰도 향상에 있어 이 제약 조건의 핵심적 역할을 확인한다.
• 예측 신뢰도 임계값 $t_p$ 의 변화에 대해 성능 변동이 미미하여, 이 방법이 안정적인 동작을 보임을 확인한다.
• CSRNet 대신 SPN을 특징 추출기로 사용할 경우 성능이 더욱 향상되며, 이는 다양한 네트워크 아키텍처와의 호환성을 보여준다.
• 세 개의 서브티터너리 작업(임계값 0.5N, 0.7N, 0.9N)이 최고의 성능을 내며, 더 세분화된 밀도 분할은 성능 향상에 기여하지 않는다는 것을 시사한다.
• 절단 분석 결과, 원래의 회귀 작업에서의 엔드 투 엔드 준지도 학습보다 서브티터너리 작업에서 특징 추출기를 학습하는 것이 훨씬 효과적임을 확인한다.