[논문 리뷰] Combining the Silhouette and Skeleton Data for Gait Recognition

Likai Wang, Ruize Han외 1명|arXiv (Cornell University)|2022. 02. 22.

Gait Recognition and Analysis인용 수 4

한 줄 요약

이 논문은 깊이 학습 프레임워크를 두 가지 분지로 구성하여 실루엣(컨볼루션 네트워크를 통해)과 스켈레톤 데이터(그래프 컨볼루션 네트워크를 통해)를 융합하여 강건한 걸음걸이 인식을 수행한다. 장거리 관절 간 상관관계를 포착하기 위해 완전히 연결된 그래프 컨볼루션 연산자를 도입하였고, 공간적, 시간적, 채널 방향의 주요 정보를 동시에 고려하는 STC-Att 모듈을 설계하여, 옷차림 변화 조건에서도 최신 기술 수준의 성능을 달성하였다. CASIA-B에서 평균 정확도 91.0%를 기록하였고, OUMVLP에서는 90.7%를 기록하였다.

ABSTRACT

Gait recognition, a long-distance biometric technology, has aroused intense interest recently. Currently, the two dominant gait recognition works are appearance-based and model-based, which extract features from silhouettes and skeletons, respectively. However, appearance-based methods are greatly affected by clothes-changing and carrying conditions, while model-based methods are limited by the accuracy of pose estimation. To tackle this challenge, a simple yet effective two-branch network is proposed in this paper, which contains a CNN-based branch taking silhouettes as input and a GCN-based branch taking skeletons as input. In addition, for better gait representation in the GCN-based branch, we present a fully connected graph convolution operator to integrate multi-scale graph convolutions and alleviate the dependence on natural joint connections. Also, we deploy a multi-dimension attention module named STC-Att to learn spatial, temporal and channel-wise attention simultaneously. The experimental results on CASIA-B and OUMVLP show that our method achieves state-of-the-art performance in various conditions.

연구 동기 및 목표

• 의미 기반 걸음걸이 인식의 한계를 해결하기 위해 옷차림 및 지니는 물체 변화에 민감한 문제를 해결하고자 한다.
• 자세 추정 오차와 희소한 스켈레톤 데이터로 인해 모델 기반 방법의 정확도에 도달한 한계를 극복하고자 한다.
• 의미적 특징과 모델 기반 특징의 상호보완적 강점을 융합하여 더 강건한 성능을 확보하고자 한다.
• 사전 정의된 뼈 연결 관계에 의존하지 않고도 다중 척도 및 장거리 관절 간 상관관계를 효과적으로 포착할 수 있는 GCN 기반 모듈을 설계하고자 한다.
• 공간적, 시간적, 채널 방향의 상관관계를 동시에 모델링하는 다차원 주의 메커니즘을 통해 특징 표현을 향상시키고자 한다.

제안 방법

• 이중 분지 신경망 아키텍처를 사용한다: 한 분지는 GaitPart를 백본으로 사용하여 실루엣을 처리하는 CNN을, 다른 분지는 GCN 기반 모델을 사용하여 스켈레톤 시퀀스를 처리한다.
• 다양한 인접 행렬을 대체하기 위해 완전히 연결된 그래프 컨볼루션 연산자를 제안하여, 자연스러운 관절 연결에 의존하지 않고도 다중 척도의 관절 상관관계를 적응적으로 통합할 수 있도록 한다.
• STC-Att 모듈은 단일 모듈 내에서 공간적, 시간적, 채널 방향의 주의를 학습하여 GCN 분지의 분류 가능 특징 학습을 향상시킨다.
• 두 분지의 특징은 학습 가능한 가중치 비율 λ를 통해 균형을 맞춘 후 결합하여 의미적 및 구조적 표현을 융합한다.
• 융합된 특징에 대해 전역 평균 풀링과 소프트맥스 분류기를 적용하여 최종 분류를 수행한다.
• 표준 교차 엔트로피 손실을 사용하여 CASIA-B 및 OUMVLP 데이터셋에서 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 실루엣과 스켈레톤을 융합하는 이중 분지 네트워크가 다양한 조건에서 기존 최신 기술 수준의 걸음걸이 인식 방법을 초월할 수 있는가?
• RQ2 고정된 인접 행렬을 사용하는 전통적인 GCN와 비교해, 완전히 연결된 그래프 컨볼루션 연산자가 장거리 관절 간 상관관계를 얼마나 효과적으로 모델링하는가?
• RQ3 STC-Att 모듈이 공간적, 시간적, 채널 방향의 주의를 동시에 모델링함으로써 걸음걸이 표현을 얼마나 향상시키는가?
• RQ4 의미적 특징과 모델 기반 특징의 융합이 옷차림 및 시야각 변화에 대한 강건성을 얼마나 크게 향상시키는가?
• RQ5 최적의 융합 비율 λ는 어떤가? 다양한 조건에서 최대 인식 정확도를 달성하기 위해 두 분지 특징의 기여도를 어떻게 균형 있게 조정할 수 있는가?

주요 결과

• 제안된 방법은 CASIA-B에서 평균 정확도 91.0%를 기록하였고, OUMVLP에서는 90.7%를 달성하여 모든 이전 최신 기술 수준의 방법을 능가하였다.
• CASIA-B의 CL(옷차림 변화) 조건에서 92.1%의 정확도를 기록하여 GaitGL 대비 9.1% 향상되었으며, 옷차림 변화에 대한 강건성을 입증하였다.
• 제거 실험 결과, 완전히 연결된 그래프 컨볼루션은 NM 조건에서 평균 1.5% 향상(89.8% → 91.3%)을 이끌어내어 그 효과를 입증하였다.
• STC-Att 모듈은 NM 조건에서 평균 0.5% 향상(91.3% → 91.8%)을 이끌어내어 특징 정제에 기여하는 가치를 입증하였다.
• 최적의 융합 비율 λ = 400은 모든 조건에서 최고의 평균 정확도(94.74%)를 달성하여 균형 잡힌 특징 융합의 이점을 확인하였다.
• λ = 400을 사용한 이중 분지 네트워크는 NM 조건에서 97.7%, BG 조건에서 93.8%, CL 조건에서 92.7%의 정확도를 기록하여 개별 분지(예: 모델 기반 전용일 경우 91.8%)보다 뚜렷이 뛰어난 성능을 보였다.