[논문 리뷰] From Indoor To Outdoor: Unsupervised Domain Adaptive Gait Recognition

Likai Wang, Ruize Han외 2명|arXiv (Cornell University)|2022. 11. 21.

Gait Recognition and Analysis인용 수 5

한 줄 요약

이 논문은 타겟 도메인의 애너테이션 없이 실내 데이터셋에서 훈련된 걸음걸이 모델을 실외 야외 환경으로 전이할 수 있는 비지도 도메인 적응 걸음걸이 인식(UDA-GR) 방법을 제안한다. 도메인 증강된 걸음걸이 변환을 통해 샘플의 불확실성을 추정하고, 미세조정 중에 불확실성 정규화를 적용함으로써 가짜 레이블에서 발생하는 노이즈를 줄이고, 새로 구축된 벤치마크에서 기존 방법 대비 mAP 3.9%에서 4.2% 향상된 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Gait recognition is an important AI task, which has been progressed rapidly with the development of deep learning. However, existing learning based gait recognition methods mainly focus on the single domain, especially the constrained laboratory environment. In this paper, we study a new problem of unsupervised domain adaptive gait recognition (UDA-GR), that learns a gait identifier with supervised labels from the indoor scenes (source domain), and is applied to the outdoor wild scenes (target domain). For this purpose, we develop an uncertainty estimation and regularization based UDA-GR method. Specifically, we investigate the characteristic of gaits in the indoor and outdoor scenes, for estimating the gait sample uncertainty, which is used in the unsupervised fine-tuning on the target domain to alleviate the noises of the pseudo labels. We also establish a new benchmark for the proposed problem, experimental results on which show the effectiveness of the proposed method. We will release the benchmark and source code in this work to the public.

연구 동기 및 목표

• 통제된 실내 환경에서 훈련된 걸음걸이 인식 모델을 실제 실외 환경에 구현하는 데 있어 실용적인 과제를 해결하기 위해.
• 타겟 도메인 애너테이션이 없는 실내(소스)에서 실외(타겟) 걸음걸이 데이터로의 전이를 가능하게 하는 비지도 도메인 적응 프레임워크를 개발하기 위해.
• 실내와 실외 걸음걸이 분포 간 큰 도메인 갭으로 인해 발생하는 가짜 레이블의 높은 노이즈를 완화하기 위해.
• 새로 수집한 실외 데이터셋인 DukeGait과 세 개의 공개 데이터셋을 사용하여 UDA-GR을 위한 새로운 벤치마크를 구축하기 위해.
• 실용적이고 환경 간 전이 가능한 걸음걸이 인식 연구를 촉진하기 위해 벤치마크와 소스 코드를 배포하기 위해.

제안 방법

• 도메인 특화 데이터 증강을 사용하여 실내 샘플에서 실외 걸음걸이 변형을 시뮬레이션하고, 불확실성 추정을 위한 변환된 시퀀스를 생성한다.
• 원본 및 도메인 변환된 걸음걸이 시퀀스 간의 특징 차이를 통해 샘플의 불확실성을 추정하며, 이는 예측에 대한 모델의 신뢰도를 반영한다.
• 타겟 도메인에 대해 가짜 레이블 생성 파이프라인을 적용한 후, 노이즈가 많은 예측을 감소시키기 위해 불확실성 인식 미세조정을 수행한다.
• 타겟 도메인의 미세조정 중에 불확실성 정규화를 적용하여, 높은 불확실성의 샘플을 억제함으로써 오류 전파를 줄인다.
• 세 단계 파이프라인으로 구성된 프레임워크는 소스 도메인 사전 훈련, 타겟 도메인 가짜 레이블 생성, 불확실성 정규화된 미세조정을 통합한다.
• 가짜 레이블 생성에 클러스터링(K-means/DBSCAN)을 활용하지만, 불확실성 인식 손실 가중치를 통합함으로써 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 비지도 도메인 적응이 제약이 있는 실내 환경에서의 걸음걸이 인식 모델을 복잡한 실외 환경으로 효과적으로 전이할 수 있는가?
• RQ2 큰 도메인 이동이 발생하는 걸음걸이 인식에서 불확실성 추정은 가짜 레이블링의 강건성에 어떻게 기여하는가?
• RQ3 불확실성 정규화는 도메인 적응 과정에서 가짜 레이블의 노이즈를 줄이는 데 어떤 영향을 미치는가?
• RQ4 제안된 방법은 도메인 간 걸음걸이 인식에 대해 기존의 UDA Re-ID 및 단일 도메인 걸음걸이 인식 방법과 비교해 어떻게 성능을 냅니까?
• RQ5 소스 도메인의 품질(예: CASIA-B 대비 OUMVLP)이 UDA-GR의 성능에 어느 정도 영향을 미치는가?

주요 결과

• 제안된 불확실성 정규화된 UDA-GR 방법은 새로운 벤치마크에서 네 가지 도메인 간 설정 전반에서 최고의 베이스라인 대비 mAP 3.9%에서 4.2% 향상된 성능을 달성한다.
• 불확실성 정규화 없이 가짜 레이블링을 수행하면 소스 모델의 직접 추론보다 성능이 열 劣하므로, 타겟 가짜 레이블의 노이즈가 매우 높다는 것을 시사한다.
• 소스 훈련 기간 동안만 불확실성 추정을 통합하면 성능 향상이 제한적이지만, 타겟 도메인의 미세조정과 결합하면 성능 향상이 크게 향상된다.
• 불확실성 추정 메커니즘이 오염 또는 낮은 구분 능력을 가진 걸음걸이 패턴을 가진 어려운 샘플을 높은 불확실성 점수를 부여함으로써 성공적으로 식별한다.
• CASIA-B 대비 OUMVLP에서 사전 훈련한 모델이 더 잘 일반화됨을 확인하여, 더 크고 다양한 소스 데이터셋이 도메인 간 전이에 유리함을 시사한다.
• 제안된 방법은 UDA-GR 벤치마크에서 모든 최신 기술 수준의 걸음걸이 인식 및 UDA Re-ID 방법을 능가하며, 실세계 적용에 효과적임을 입증한다.