[논문 리뷰] Progressive Feature Learning for Realistic Cloth-Changing Gait Recognition

Xuqian Ren, Saihui Hou외 3명|arXiv (Cornell University)|2022. 07. 24.

Gait Recognition and Analysis인용 수 4

한 줄 요약

이 논문은 실제 옷 변화 상황을 고려한 새로운 실용적 체격 변화 보행 인식(RCC-GR) 작업을 제안하고, 겹치지 않는 부분 데이터셋을 가진 시점 간 및 옷 간 보행 인식 문제를 해결하기 위해 점진적 특징 학습 프레임워크를 제안한다. 이 방법은 점진적 매핑과 점진적 불확실성 기반으로 순차적으로 시점 간 및 옷 간 특징을 학습하며, CL 조건 하에서 CASIA-BN-RCC에서 최대 48.5% 향상된 랭크-1 정확도와 OUMVLP-RCC에서 최대 55.6% 향상된 랭크-1 정확도를 달성한다.

ABSTRACT

Gait recognition is instrumental in crime prevention and social security, for it can be conducted at a long distance to figure out the identity of persons. However, existing datasets and methods cannot satisfactorily deal with the most challenging cloth-changing problem in practice. Specifically, the practical gait models are usually trained on automatically labeled data, in which the sequences' views and cloth conditions of each person have some restrictions. To be concrete, the cross-view sub-dataset only has normal walking condition without cloth-changing, while the cross-cloth sub-dataset has cloth-changing sequences but only in front views. As a result, the cloth-changing accuracy cannot meet practical requirements. In this work, we formulate the problem as Realistic Cloth-Changing Gait Recognition (abbreviated as RCC-GR) and we construct two benchmarks: CASIA-BN-RCC and OUMVLP-RCC, to simulate the above setting. Furthermore, we propose a new framework called Progressive Feature Learning that can be applied with off-the-shelf backbones to improve their performance in RCC-GR. Specifically, in our framework, we design Progressive Mapping and Progressive Uncertainty to extract cross-view features and then extract cross-cloth features on the basis. In this way, the feature from the cross-view sub-dataset can first dominate the feature space and relieve the uneven distribution caused by the adverse effect from the cross-cloth sub-dataset. The experiments on our benchmarks show that our framework can effectively improve recognition performance, especially in the cloth-changing conditions.

연구 동기 및 목표

• 실제 감시 환경에서 개인이 다양한 옷을 입고 있는 상황에서 보행 인식의 현실적인 과제를 해결하기 위해, 일반적이지만 아직 탐색되지 않은 문제를 다룬다.
• 실제 환경에서 관찰되는 겹치지 않는 시점 간 및 옷 간 데이터 분포를 시뮬레이션하는 두 가지 새로운 벤치마크인 CASIA-BN-RCC와 OUMVLP-RCC를 구축한다.
• 일반적인 보행 인식 백본이 실제 옷 변화 조건에서 효과적으로 일반화할 수 있도록 하는 프레임워크를 개발한다.
• 시점 간 및 옷 간 부분 데이터셋 간 내부 클래스 다양성의 불균형으로 인한 특징 공간 왜곡을 완화한다.

제안 방법

• 두 단계로 구성된 점진적 매핑 모듈을 제안한다: 먼저 시점 간 매핑(CVM)을 수행한 후 옷 간 매핑(CCM)을 수행하며, 이는 먼저 시점 간 데이터를 이용해 특징 공간을 확장한 후 옷 간 표현을 학습한다.
• 점진적 불확실성 기반으로 각 보행 시퀀스를 정규분포(평균 μ 및 분산 σ²)로 모델링하여 학습 안정성과 일반화 성능을 향상시킨다.
• 불확실성 인식 트리플릿 손실(ℒtv, ℒtc)을 도입하여 쉬운 시점 간 샘플에는 더 높은 기울기 가중치를 부여하고, 어려운 옷 간 샘플에서의 과적합을 줄인다.
• 가우스 분포에서 재샘플링하여 추가적인 임bedding을 생성함으로써 특징의 강건성과 구별 능력을 향상시킨다.
• GaitSet과 같은 표준 보행 인식 백본을 사용하여 아키텍처의 대대적 개편 없이도 즉시 적용 가능한 성능 향상을 가능하게 한다.
• 시점 간 및 옷 간 부분 데이터셋 각각에 대해 별도의 트리플릿 손실 ℒnv 및 ℒnc를 사용하여 최적화 과정에서의 부정적 간섭을 방지한다.

실험 결과

연구 질문

• RQ1 겹치지 않는 데이터를 가진 현실적인 옷 변화 조건에서 두 단계 특징 학습 전략이 보행 인식 성능 향상에 효과적인가?
• RQ2 보행 시퀀스를 점으로 모델링하는 대신 정규분포로 모델링할 경우 옷 간 시나리오에서 모델의 일반화 능력에 어떤 영향을 미치는가?
• RQ3 점진적 학습이 시점 간 및 옷 간 부분 데이터셋 간 내부 클래스 다양성의 불균형으로 인한 특징 공간 왜곡을 어느 정도 완화하는가?
• RQ4 제안된 프레임워크가 동일한 백본과 학습 프로토콜 하에서 표준 단일 단계 특징 학습보다 우수한 성능을 보이는가?

주요 결과

• 점진적 매핑 전략은 CASIA-BN-RCC에서 48.5%의 CL 정확도 향상을, OUMVLP-RCC에서는 55.6%의 CL 정확도 향상을 달성하여 단일 단계 기반 베이스라인을 초월한다.
• 재샘플링 기반 점진적 불확실성은 CASIA-BN-RCC에서 51.6%의 CL 정확도 향상을, OUMVLP-RCC에서는 57.3%의 CL 정확도 향상을 달성하여 불확실성 인식 학습의 유용성을 입증한다.
• CCM에서만 옷 간 분산(σc)을 사용한 결과 50.7%의 CL 정확도를 기록했지만, CVM과 CCM을 병합한 결과 50.3%로 향상되어 전체 불확실성 모델링의 중요성을 보여준다.
• 제거 분석을 통해 성능 향상 요인이 파라미터 수 증가가 아닌 두 단계 모듈 및 트리플릿 설계에 기인함을 확인했다.
• 프레임워크는 CASIA-BN-RCC에서 NM에서 90.2%의 랭크-1 정확도와 BG에서 83.1%의 랭크-1 정확도를 달성하여 모든 부분 데이터셋에서 강력한 일반화 능력을 보였다.
• 제안된 벤치마크인 CASIA-BN-RCC와 OUMVLP-RCC는 실제 옷 변화 보행 인식 상황을 효과적으로 시뮬레이션하여 공정하고 현실적인 평가를 가능하게 한다.