[논문 리뷰] A model-based Gait Recognition Method based on Gait Graph Convolutional Networks and Joints Relationship Pyramid Mapping.

Na Li, Xinbo Zhao외 1명|arXiv (Cornell University)|2020. 04. 27.

Gait Recognition and Analysis참고 문헌 36인용 수 16

한 줄 요약

이 논문은 2D 관절 좌표를 활용하여 그래프 컨volution 네트워크를 통해 시공간적 특징을 추출하고, Joints Relationship Pyramid Mapping을 사용해 그 특징을 분류 가능한 공간으로 매핑하는 새로운 모델 기반의 걸음걸이 인식 방법인 JointsGait를 제안한다. 이 방법은 Kinect Gait Biometry 및 CASIA-B 데이터셋에서 최신 기술 수준의 성능을 달성하며, 특히 시야각 및 옷차림 변화 상황에서도 모델 기반 및 외관 기반 방법을 모두 능가한다.

ABSTRACT

Gait, as one of unique biometric features, has the advantage of being recognized from a long distance away, can be widely used in public security. Considering 3D pose estimation is more challenging than 2D pose estimation in practice , we research on using 2D joints to recognize gait in this paper, and a new model-based gait recognition method JointsGait is put forward to extract gait information from 2D human body joints. Appearance-based gait recognition algorithms are prevalent before. However, appearance features suffer from external factors which can cause drastic appearance variations, e.g. clothing. Unlike previous approaches, JointsGait firstly extracted spatio-temporal features from 2D joints using gait graph convolutional networks, which are less interfered by external factors. Secondly, Joints Relationship Pyramid Mapping (JRPM) are proposed to map spatio-temporal gait features into a discriminative feature space with biological advantages according to the relationship of human joints when people are walking at various scales. Finally, we design a fusion loss strategy to help the joints features to be insensitive to cross-view. Our method is evaluated on two large datasets, Kinect Gait Biometry Dataset and CASIA-B. On Kinect Gait Biometry Dataset database, JointsGait only uses corresponding 2D coordinates of joints, but achieves satisfactory recognition accuracy compared with those model-based algorithms using 3D joints. On CASIA-B database, the proposed method greatly outperforms advanced model-based methods in all walking conditions, even performs superior to state-of-art appearance-based methods when clothing seriously affect people's appearance. The experimental results demonstrate that JointsGait achieves the state-of-art performance despite the low dimensional feature (2D body joints) and is less affected by the view variations and clothing variation.

연구 동기 및 목표

• 실제 응용에서 추정하기 어려운 3D 자세가 아닌 2D 관절 좌표에 의존하는 걸음걸이 인식 방법을 개발하는 것.
• 해부학적 근접성과 보행 역학을 기반으로 인간 관절의 구조적 관계를 활용하여 옷차림 및 시야각 변화와 같은 외부 요인의 간섭을 줄이는 것.
• 시공간적 걸음걸이 특징을 계층적이고 생물학적으로 영감을 받은 특징 공간으로 매핑하여 특징의 분류 능력을 향상시키는 것.
• 관절 특징의 시야각에 따른 변동성을 최소화하는 새로운 융합 손실 전략을 통해 시야 간 강건성을 향상시키는 것.

제안 방법

• 보행자의 관절을 시간에 따라 변화하는 그래프로 모델링하여, 2D 관절 좌표에서 시공간적 걸음걸이 특징을 보행 그래프 컨volution 네트워크(G-CNN)를 통해 추출한다.
• 관절 관계 피라미드 매핑(JRPM)은 해부학적 근접성과 보행 역학을 기반으로 다중 척도의 관절 관계 표현을 구성하여 특징의 분류 능력을 향상시킨다.
• JRPM 모듈은 다양한 보행 척도에서 생물학적 관절 연결성과 운동 패턴을 반영하는 계층적 특징 공간으로 걸음걸이 특징을 매핑한다.
• 다양한 카메라 시야에서의 특징를 정렬하기 위해 융합 손실 전략을 설계하여 도메인 분리 문제를 완화하고, 시야 간 조건에서의 일반화 능력을 향상시킨다.
• 분류 손실과 제안된 융합 손실을 조합하여 엔드 투 엔드로 모델을 훈련시켜 정확도와 시야 불변성 양쪽을 최적화한다.

실험 결과

연구 질문

• RQ1 3D 기반 방법과 비교해 2D 관절 좌표만을 기반으로 하는 걸음걸이 인식 모델이 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ2 제안된 Joints Relationship Pyramid Mapping(JRPM)이 다양한 보행 조건에서 특징의 분류 능력을 얼마나 효과적으로 향상시키는가?
• RQ3 융합 손실 전략이 걸음걸이 인식에서 시야 간 변동성에 대해 얼마나 효과적으로 강건성을 향상시키는가?
• RQ4 외관 기반 방법과 비교해 JointsGait는 옷차림 변화와 같은 심각한 외관 변화 상황에서 어떻게 성능을 발휘하는가?

주요 결과

• Kinect Gait Biometry 데이터셋에서 JointsGait는 3D 기반 모델 기반 방법들을 능가하는 경쟁력 있는 정확도를 달성하며, 오직 2D 관절 좌표만을 사용한다.
• CASIA-B 데이터셋에서 JointsGait는 모든 보행 조건에서 고도로 발전된 모델 기반 걸음걸이 인식 방법들을 크게 능가한다.
• 심각한 옷차림 변화 조건에서도 JointsGait는 최신 기술 수준의 외관 기반 걸음걸이 인식 방법들을 정확도 측면에서 초월한다.
• 제안된 융합 손실 전략은 시야각 차이의 영향을 효과적으로 줄여 더 강건하고 시야 불변적인 걸음걸이 특징을 생성한다.
• G-CNN와 JRPM의 조합은 저차원의 2D 관절 특징을 사용하더라도 높은 분류 능력을 달성할 수 있도록 한다.