[논문 리뷰] JointsGait:A model-based Gait Recognition Method based on Gait Graph Convolutional Networks and Joints Relationship Pyramid Mapping

Na Li, Xinbo Zhao외 1명|arXiv (Cornell University)|2020. 04. 27.

Gait Recognition and AnalysisEngineering인용 수 19

한 줄 요약

JointsGait는 2D 관절 좌표와 보행 그래프 컨volution 네트워크(G-CNN)를 사용하여 시공간적 특징을 추출하고, 다중 척도 관절 관계를 모델링하기 위해 관절 관계 피라미드 매핑(JRPM)을 도입한 새로운 모델 기반 보행 인식 방법을 제안한다. 이는 3D 자세 추정이 어려운 실생활 환경에서도 시야 및 옷차림 변화에 강건하며, Kinect Gait 및 CASIA-B 데이터셋에서 최신 기술을 능가하는 성능을 달성한다.

ABSTRACT

Gait, as one of unique biometric features, has the advantage of being recognized from a long distance away, can be widely used in public security. Considering 3D pose estimation is more challenging than 2D pose estimation in practice , we research on using 2D joints to recognize gait in this paper, and a new model-based gait recognition method JointsGait is put forward to extract gait information from 2D human body joints. Appearance-based gait recognition algorithms are prevalent before. However, appearance features suffer from external factors which can cause drastic appearance variations, e.g. clothing. Unlike previous approaches, JointsGait firstly extracted spatio-temporal features from 2D joints using gait graph convolutional networks, which are less interfered by external factors. Secondly, Joints Relationship Pyramid Mapping (JRPM) are proposed to map spatio-temporal gait features into a discriminative feature space with biological advantages according to the relationship of human joints when people are walking at various scales. Finally, we design a fusion loss strategy to help the joints features to be insensitive to cross-view. Our method is evaluated on two large datasets, Kinect Gait Biometry Dataset and CASIA-B. On Kinect Gait Biometry Dataset database, JointsGait only uses corresponding 2D coordinates of joints, but achieves satisfactory recognition accuracy compared with those model-based algorithms using 3D joints. On CASIA-B database, the proposed method greatly outperforms advanced model-based methods in all walking conditions, even performs superior to state-of-art appearance-based methods when clothing seriously affect people's appearance. The experimental results demonstrate that JointsGait achieves the state-of-art performance despite the low dimensional feature (2D body joints) and is less affected by the view variations and clothing variation.

연구 동기 및 목표

• 3D 자세 추정이 실제 적용에서 어려운 점을 감안해, 3D 자세가 아닌 2D 관절 좌표를 활용하는 보행 인식 방법을 개발하는 것.
• 외관이 아닌 관절 간 관계를 모델링하여 옷차림 및 시야 변화와 같은 외부 요인에 대한 민감도를 낮추는 것.
• JRPM를 통해 시공간적 보행 특징을 계층적이고 생물학적으로 타당한 표현으로 매핑하여 특징의 분류 능력을 향상시키는 것.
• 복잡한 3D 자세 추정에 의존하지 않고 저차원의 2D 관절 특징으로도 높은 인식 정확도를 달성하는 것.

제안 방법

• 2D 인간 신체 관절 시퀀스에서 시공간적 특징을 추출하기 위해 보행 그래프 컨volution 네트워크(G-CNN)를 사용한다.
• 관절 관계 피라미드 매핑(JRPM)은 해부학적 제약과 보행 역학에 기반하여 다중 척도의 관절 관계 표현을 구성한다.
• JRPM 모듈은 생물학적으로 타당하고 척도 불변 패턴을 유지하는 특징의 분류 가능한 공간으로 보행 특징을 매핑한다.
• 다양한 시야 간 특징을 정렬하기 위해 융합 손실 전략을 도입하여 시야 간 일반화 능력을 향상시킨다.
• 분류 손실과 대비 손실을 조합하여 특징의 강건성을 향상시키기 위해 종단간(end-to-end)으로 모델을 훈련시킨다.
• 모델은 3D 자세 추정이 필요 없이 오직 2D 관절 좌표에만 기반하여 작동한다.

실험 결과

연구 질문

• RQ1 3D 자세 추정이 필요 없이 오직 2D 관절 좌표만을 사용하여 보행 인식을 효과적으로 수행할 수 있는가?
• RQ2 시야 및 옷차림 변화에 강건한 특징을 얻기 위해 시공간적 보행 특징을 어떻게 모델링할 수 있는가?
• RQ3 관절 관계의 계층적 피라미드 기반 표현이 보행 인식에서 특징의 분류 능력을 향상시킬 수 있는가?
• RQ4 2D 관절 기반 방법이 최신 기술의 외관 기반 및 모델 기반 보행 인식 접근법을 얼마나 뛰어넘을 수 있는가?
• RQ5 융합 손실 전략은 보행 특징의 시야 간 일반화 능력을 향상시키는 데 얼마나 효과적인가?

주요 결과

• Kinect Gait Biometry 데이터셋에서 JointsGait는 3D 관절에 의존하는 모델 기반 방법보다도 경쟁적인 인식 정확도를 달성하며, 오직 2D 관절 좌표만을 사용한다.
• CASIA-B 데이터셋에서 JointsGait는 모든 보행 조건에서 고도로 발전한 모델 기반 보행 인식 방법을 뛰어넘는 성능을 보였다.
• 옷차림 변화로 인해 외관 특징에 심각한 영향을 받는 상황에서도 JointsGait는 최신 기술의 외관 기반 방법을 능가한다.
• 융합 손실 전략은 시야 변화에 대한 민감도를 효과적으로 감소시켜 시야 간 특징 정렬을 향상시켰다.
• G-CNN와 JRPM의 조합은 저차원의 입력인 2D 관절 특징에도 불구하고 높은 분류 능력을 제공한다.
• 제안된 방법은 옷차림과 시야 각도와 같은 외부 요인에 대해 강력한 강건성을 보이며, 실생활 보행 인식에 대한 실용성과 타당성을 입증한다.