[논문 리뷰] Learning Rich Features for Gait Recognition by Integrating Skeletons and Silhouettes

Yunjie Peng, Kang Ma외 2명|arXiv (Cornell University)|2021. 10. 26.

Gait Recognition and Analysis참고 문헌 40인용 수 6

한 줄 요약

이 논문은 다중 척추 구조를 활용하여 신체 관절의 계층적 의미를 반영한 다중 척도 보행 그래프(Multi-Scale Gait Graph, MSGG) 네트워크를 통해 실루엣과 뼈대를 융합하는 새로운 이모달 융합(BiFusion) 네트워크를 제안한다. 이 방법은 CASIA-B 데이터셋에서 복잡한 의복 변화 조건 하에서도 랭크-1 정확도 92.1%를 달성하여 최신 기술 수준의 성능을 보이며, 구분 가능한 뼈대 특징 학습과 특징 수준 융합의 효과를 입증한다.

ABSTRACT

Gait recognition captures gait patterns from the walking sequence of an individual for identification. Most existing gait recognition methods learn features from silhouettes or skeletons for the robustness to clothing, carrying, and other exterior factors. The combination of the two data modalities, however, is not fully exploited. Previous multimodal gait recognition methods mainly employ the skeleton to assist the local feature extraction where the intrinsic discrimination of the skeleton data is ignored. This paper proposes a simple yet effective Bimodal Fusion (BiFusion) network which mines discriminative gait patterns in skeletons and integrates with silhouette representations to learn rich features for identification. Particularly, the inherent hierarchical semantics of body joints in a skeleton is leveraged to design a novel Multi-Scale Gait Graph (MSGG) network for the feature extraction of skeletons. Extensive experiments on CASIA-B and OUMVLP demonstrate both the superiority of the proposed MSGG network in modeling skeletons and the effectiveness of the bimodal fusion for gait recognition. Under the most challenging condition of walking in different clothes on CASIA-B, our method achieves the rank-1 accuracy of 92.1%.

연구 동기 및 목표

• 기존 보행 인식 방법이 뼈대 데이터의 내재된 구분 능력을 충분히 활용하지 못하는 한계를 해결하기 위해.
• 실루엣(신체 부위 세부 정보 손실)과 뼈대(형상 정보 손실)의 상호 보완적 약점들을 효과적으로 융합하여 보완하기 위해.
• 원시 뼈대 시퀀스로부터 보행 패턴을 보다 향상된 표현 학습으로 포착하는 계층적, 다중 척도 그래프 신경망을 개발하기 위해.
• 의복 변화 및 시야각 변화와 같은 도전적인 조건에서도 강건한 보행 인식을 달성하기 위해, 외관 변화가 성능에 미치는 영향을 최소화하기 위해.

제안 방법

• 다중 척도 보행 그래프(Multi-Scale Gait Graph, MSGG) 네트워크는 신체 관절을 세 가지 의미 수준으로 분할하여 뼈대 데이터를 계층적으로 모델링한다: 개별 관절, 사지, 신체 부위.
• 해부학적 및 운동 기반 의미를 바탕으로 유의미한 하위그래프로 관절을 그룹화하는 작업에 특화된 노드 분할 전략을 도입하여 구조적 표현을 향상시킨다.
• 세 가지 병렬 브랜치로 구성된 피라미드 구조를 통해 서로 다른 척도에서 하위그래프를 처리함으로써 공간적 및 시간적 차원에서의 다중 수준 특징 학습을 가능하게 한다.
• 스케일 간 메시지 전달을 위해 의미 풀링(Semantic Pooling) 연산을 구현하여 다양한 척도 간 특징을 집계하고 정제함으로써 강건성과 구분 능력을 향상시킨다.
• 실루엣에서 추출한 구분 가능한 특징(GaitPart를 통해)과 뼈대에서 추출한 특징(MSGG를 통해)을 특징 수준 융합 모듈을 통해 융합하여 종합적인 보행 표현을 구성한다.
• 전체 BiFusion 네트워크는 특징 공간 내에서 클래스 간 분離성과 클래스 내 응집성을 향상시키기 위해 대비 손실(contrastive loss)을 사용하여 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 신체 관절의 의미 계층을 활용하여 원시 뼈대 시퀀스로부터 내재된 보행 패턴을 효과적으로 모델링할 수 있는 계층적 그래프 신경망 아키텍처는 가능한가?
• RQ2 실루엣과 뼈대의 특징을 특징 수준에서 융합할 경우, 단모달 또는 약한 융합 방법에 비해 성능 향상이 뚜렷하게 이루어지는가? 특히 도전적인 조건에서의 성능 향상 여부는?
• RQ3 MSGG 네트워크의 다중 척도 설계는 의복 변화 및 시야각 변화에 대해 어떻게 강건성을 향상시키는가?
• RQ4 스케일 간 메시지 전달은 독립적인 척도 처리에 비해 특징 표현을 얼마나 향상시키는가?
• RQ5 제안된 이모달 융합 전략은 뼈대를 단지 위치 기준으로만 사용하는 기존 多모달 보행 인식 방법을 초월할 수 있는가?

주요 결과

• 제안된 MSGG 네트워크는 뼈대 기반 보행 인식 방법 중에서 뛰어난 성능을 보이며, 뼈대 데이터의 계층적, 다중 척도 모델링의 효과성을 입증한다.
• CASIA-B 데이터셋에서 BiFusion 네트워크는 가장 도전적인 조건(다른 옷을 입고 걷는 경우)에서도 랭크-1 정확도 92.1%를 달성하여 이전 최신 기술 수준의 방법들을 뛰어넘는다.
• 이모달 융합 전략은 의복 변화 조건 하에서 실루엣 전용 기반(Baseline, GaitPart)에 비해 랭크-1 정확도를 +12.6% 향상시키며, 상보적 특징 융합의 가치를 입증한다.
• 다중 척도 구조는 점진적인 성능 향상을 이끌어내며, 관절 수준 브랜치에 사지와 신체 부위를 추가할 경우 정확도가 각각 +3.8% (NM) 및 +5.9% (BG) 향상되며, 계층적 모델링의 유용성을 보여준다.
• 스케일 간 메시지 전달은 기여가 크며, 교차 척도 집합 없이 특징을 연결하는 것에 비해 CL 조건 하에서 정확도를 +9.7% 향상시킨다.
• 제거 실험 결과는 제안된 피라미드 구조와 의미 기반 노드 분할 전략이 성능 향상에 필수적임을 확인하였으며, 전체 MSGG(Joints+Limbs+Bodyparts)가 가장 우수한 성능을 기록한다.