[논문 리뷰] Deep Template Matching for Pedestrian Attribute Recognition with the Auxiliary Supervision of Attribute-wise Keypoints

Jiajun Zhang, Pengyuan Ren외 1명|arXiv (Cornell University)|2020. 11. 13.

Video Surveillance and Tracking Methods참고 문헌 35인용 수 10

한 줄 요약

이 논문은 보행자 속성 인식을 위한 양자화된 키포인트(awk) 보조 감독을 통한 딥 템플릿 매칭(DTM)을 제안한다. 기존의 분류기 대신 경량이며 미분 가능한 템플릿 매칭 기반 메커니즘을 도입하여 분별력 있는 국소적 특징을 캡처한다. 이 방법은 PETA, PA-100K, RAP, RAPv2 $zs$에서 최고 성능을 기록하며, 계산 비용은 낮추고 추론 복잡도는 추가하지 않는다.

ABSTRACT

Pedestrian Attribute Recognition (PAR) has aroused extensive attention due to its important role in video surveillance scenarios. In most cases, the existence of a particular attribute is strongly related to a partial region. Recent works design complicated modules, e.g., attention mechanism and proposal of body parts to localize the attribute corresponding region. These works further prove that localization of attribute specific regions precisely will help in improving performance. However, these part-information-based methods are still not accurate as well as increasing model complexity which makes it hard to deploy on realistic applications. In this paper, we propose a Deep Template Matching based method to capture body parts features with less computation. Further, we also proposed an auxiliary supervision method that use human pose keypoints to guide the learning toward discriminative local cues. Extensive experiments show that the proposed method outperforms and has lower computational complexity, compared with the state-of-the-art approaches on large-scale pedestrian attribute datasets, including PETA, PA-100K, RAP, and RAPv2 zs.

연구 동기 및 목표

• 보행자 이미지에서 속성에 특화된 영역를 정확하게 국소화하여 인식 정확도를 향상시키는 데 도전한다.
• 주의 또는 제안 기반 방법과 같이 무거운 모듈에 의존하는 것과 비교해 모델 복잡도와 추론 비용을 줄인다.
• 인간 자세 키포인트를 보조 감독으로 활용하여 국소적 속성의 특징 학습을 향상시킨다.
• 분류 과정에서 완전히 연결된 층을 대체하는 경량이며, 미분 가능한 템플릿 매칭 메커니즘을 개발한다.
• 모델 크기나 추론 비용을 증가시키지 않으면서 고성능의 실시간 배포가 가능한 보행자 속성 인식을 가능하게 한다.

제안 방법

• 전역 평균 풀링(GAP) 또는 전역 최대 풀링(GMP)을 사용하여 고전적 템플릿 매칭를 모방하는, 가중치 기반의 컨볼루션 레이어 기반의 미분 가능한 DTM을 도입한다.
• 랜덤 초기화로 인한 수렴 불량 및 잘못된 특징 국소화 문제를 방지하기 위해 학습 가능한 템플릿 초기화 전략을 사용한다.
• 인간 자세 키포인트 위치를 활용해 DTM 모듈이 분별력 있는 국소적 특징을 학습하도록 유도하기 위해 속성별 키포인트(AWK)를 보조 감독으로 적용한다.
• AWK 감독 블록은 훈련 중에만 통합되며, 추론 시 계산 오버헤드를 추가하지 않는다.
• GAP와 GMP 풀링을 DTM에 통합하여 국소적 및 전반적 속성에 모두 우수한 성능을 확보하고, 전체적인 강건성을 향상시킨다.
• 배치 정규화를 적용하고, 배치 크기와 풀링 전략이 성능에 미치는 영향을 분석하기 위해 아블레이션 스터디를 수행한다.

실험 결과

연구 질문

• RQ1 경량이며, 미분 가능한 템플릿 매칭 기반 메커니즘이 보행자 속성 인식에서 기존의 완전히 연결된 분류기보다 우월한 성능을 낼 수 있는가?
• RQ2 속성별 인간 자세 키포인트를 활용한 보조 감독이 모델 복잡도를 증가시키지 않으면서도 국소화 정확도와 인식 성능을 향상시키는가?
• RQ3 DTM와 AWK의 조합이 PETA, PA-100K, RAP, RAPv2 $zs$와 같은 다양한 벤치마크에서 성능에 어떤 영향을 미치는가?
• RQ4 풀링 방식(GAP 대 GMP)과 배치 크기의 선택이 DTM 기반 모델의 수렴과 성능에 어느 정도의 영향을 미치는가?
• RQ5 제안된 방법은 최신의 주의 또는 제안 기반 모델 대비 계산 비용을 크게 줄이면서도 높은 정확도를 유지할 수 있는가?

주요 결과

• 제안된 DTM+AWK 방법은 RAP 데이터셋에서 평균 정확도(mA) 82.04를 기록하여 기준 FC+BN 방법(80.05 mA)을 초월한다.
• AWK 감독 덕분에 대부분의 속성에서 속성별 mA가 4%에서 10% 향상되었으며, 특히 '배낭'이나 '캐주얼 샌들'과 같은 국소적 속성에서 가장 뚜렷한 성과를 보였다.
• GAP+GMP 풀링을 사용한 DTM가 가장 우수한 전체 성능(81.33 mA)을 기록했으며, 단독으로 GAP를 사용한 DTM(81.25 mA)이나 GMP만을 사용한 DTM(77.72 mA)보다 뛰어났다.
• 아블레이션 스터디 결과 DTM만으로도 기존 분류기 대비 성능 향상을 입증했고, AWK 추가로 레이블 기반 지표(mA)와 F1 스코어가 더욱 향상됨을 확인했다.
• 일반적으로 배치 크기를 증가시키면 배치 정규화 통계가 향상되지만, DTM 기반 모델은 모든 설정에서 뛰어난 성능을 유지하여 강건성과 일반화 능력을 입증했다.
• AWK 감독을 통한 DTM 히트맵 시각화 결과, 기준 방법 대비 속성과 관련된 신체 부위에 더 정확하고 국소화된 주의를 보였다.