[논문 리뷰] Robust Cross-View Gait Recognition with Evidence: A Discriminant Gait GAN (DiGGAN) Approach

Bingzhang Hu, Yu Guan외 4명|arXiv (Cornell University)|2018. 11. 26.

Gait Recognition and Analysis참고 문헌 45인용 수 16

한 줄 요약

이 논문은 시각 불변 특징을 생성하고 목표 시점에서의 걸음 에너지 영상(GEIs)을 합리적인 증거로 생성하는 분류적 GAN 기반 프레임워크인 DiGGAN을 제안한다. 이 모델은 OU-MVLP 및 CASIA-B 데이터셋에서 최신 기술을 초월하여, 순위-1 식별 오류율 1.2%와 검증 EER 2.4%를 달성하며, 결정 검증을 위한 일관되고 인간이 이해할 수 있는 증거 생성이 가능하다.

ABSTRACT

Gait as a biometric trait has attracted much attention in many security and privacy applications such as identity recognition and authentication, during the last few decades. Because of its nature as a long-distance biometric trait, gait can be easily collected and used to identify individuals non-intrusively through CCTV cameras. However, it is very difficult to develop robust automated gait recognition systems, since gait may be affected by many covariate factors such as clothing, walking speed, camera view angle etc. Out of them, large view angle changes has been deemed as the most challenging factor as it can alter the overall gait appearance substantially. Existing works on gait recognition are far from enough to provide satisfying performances because of such view changes. Furthermore, very few works have considered evidences -- the demonstrable information revealing the reliabilities of decisions, which are regarded as important demands in machine learning-based recognition/authentication applications. To address these issues, in this paper we propose a Discriminant Gait Generative Adversarial Network, namely DiGGAN, which can effectively extract view-invariant features for cross-view gait recognition; and more importantly, to transfer gait images to different views -- serving as evidences and showing how the decisions have been made. Quantitative experiments have been conducted on the two most popular cross-view gait datasets, the OU-MVLP and CASIA-B, where the proposed DiGGAN has outperformed state-of-the-art methods. Qualitative analysis has also been provided and demonstrates the proposed DiGGAN's capability in providing evidences.

연구 동기 및 목표

• 큰 시점 각도 변화로 인해 식별 성능이 심각하게 저하되는 걸음 인식 문제를 해결하기 위해.
• 보안 및 개인정보 보호 응용 분야에서 결정 투명성을 높이기 위해 다양한 시점에서의 합성 GEI와 같은 해석 가능한 증거를 제공하는 프레임워크를 도입하기 위해.
• 국소 강화 모듈을 통해 특징의 분류 능력을 향상시켜 다양한 시점 각도 간의 일반화 능력을 향상시키기 위해.
• 증거 일관성과 다각도 비교를 위해 임의의 시점 간의 걸음 이미지 번역을 가능하게 하기 위해.
• 자동화된 걸음 인식과 실세계 적용 간 격차를 해소하기 위해 증거 기반 추론을 통합하기 위해.

제안 방법

• 조건부 GAN 프레임워크를 설계하여 신원과 시점 요소를 분리함으로써 시점 불변 걸음 표현을 학습한다.
• 생성자 네트워크는 원천 GEI와 목표 시점 각도를 입력으로 받아, 시점 불변 특징 추출기와 시점 조건 모듈을 사용하여 지정된 시점의 GEI를 합성한다.
• 시점 불변 특징를 개선하고 분류 능력과 강건성을 높이기 위해 국소 강화 모듈을 도입한다.
• 특징의 밀도와 신원 유지 보장을 위해 적대적 손실, 재구성 손실, 대비 또는 트리플릿 손실의 조합을 사용하여 모델을 훈련시킨다.
• 생성자의 복잡도 부분에서 시점 불변 특징를 추출하여 다각도 매칭과 증거 생성이 가능하게 한다.
• 모델는 임의의 시점 간 번역을 지원하여, 훈련 데이터셋에 포함된 모든 시점 각도에서 입력 시점에서 GEI를 생성할 수 있다.

실험 결과

연구 질문

• RQ1 GAN 기반 모델이 큰 시점 변화에 걸쳐 일반화되는 시점 불변 걸음 특징를 학습할 수 있는가?
• RQ2 다른 시점에서 합성된 걸음 영상(GEIs)이 걸음 인식에서 결정 검증을 위한 신뢰할 수 있고 해석 가능한 증거로 기능할 수 있는가?
• RQ3 걸음 샘플 매칭 시 특징 수준의 유사성과 증거 수준의 유사성이 얼마나 일관되는가?
• RQ4 국소 강화 모듈의 통합이 학습된 걸음 표현의 분류 품질을 향상시키는가?
• RQ5 모델이 훈련 데이터를 초월해 다중 데이터셋 평가에 일반화되는가? 이는 훈련 데이터 외부에서도 강건성을 보여주는가?

주요 결과

• OU-MVLP 데이터셋에서 DiGGAN은 순위-1 식별 오류율 1.2%를 달성하여 이전 최신 기술을 초월했다.
• OU-MVLP에서의 검증 작업에서 DiGGAN은 동일 오류율(EER) 2.4%를 기록하여 기존 접근 방식보다 뛰어난 성능을 보였다.
• CASIA-B 데이터셋에서 대비 손실 설정 하에 DiGGAN은 순위-1 오류율 1.3%와 EER 2.6%를 달성하여 강력한 일반화 능력을 보였다.
• 정성적 분석을 통해 합성된 GEIs가 다양한 시점 각도에서 다리 자세 및 목 부위 자세와 같은 핵심 걸음 특징을 유지하는 것으로 확인되었다.
• 특징 수준의 유사성과 증거 수준의 유사성 간 일관성이 높아, 합성된 GEIs가 결정 지원 증거로서의 신뢰성을 검증했다.
• 다양한 입력에서 동일한 시점 각도에서 생성된 GEIs의 분산이 낮아, 시점 정보가 신원 특징에서 효과적으로 분리되었음을 보여주었다.