[논문 리뷰] Automatic learning of gait signatures for people identification

Francisco M. Castro, Manuel J. Marín‐Jiménez외 2명|arXiv (Cornell University)|2016. 03. 03.

Gait Recognition and Analysis참고 문헌 29인용 수 11

한 줄 요약

이 논문은 최소한의 손으로 만든 실루엣이나 복잡한 특징 공학 없이도 저수준의 운동 데이터에서 고수준의 걸음걸이 표현을 효과적으로 학습할 수 있음을 보여주는 종단간(end-to-end) 컨볼루션 신경망(CNN)을 제안한다. 이는 80×60 해상도의 영상 프레임에서만 이루어지며, 이는 이전 방법들보다 여덟 배 낮은 해상도임에도 불구하고 TUM-GAID 데이터셋에서 최신 기준 성능을 달성한다.

ABSTRACT

This work targets people identification in video based on the way they walk (i.e. gait). While classical methods typically derive gait signatures from sequences of binary silhouettes, in this work we explore the use of convolutional neural networks (CNN) for learning high-level descriptors from low-level motion features (i.e. optical flow components). We carry out a thorough experimental evaluation of the proposed CNN architecture on the challenging TUM-GAID dataset. The experimental results indicate that using spatio-temporal cuboids of optical flow as input data for CNN allows to obtain state-of-the-art results on the gait task with an image resolution eight times lower than the previously reported results (i.e. 80x60 pixels).

연구 동기 및 목표

• 이진 실루엣과 같은 수작업 특징을 회피하는 종단간 딥 러닝 프레임워크를 개발하는 것.
• 옵티컬 플로우 맵만으로도 분류 가능한 걸음걸이 특징을 학습하는 데 충분한지 조사하는 것.
• 다양한 조건(의복, 가방, 시점 등)에서 도전적인 TUM-GAID 데이터셋에서 제안된 방법을 검증하는 것.
• 이전 연구에 비해 상당히 낮은 입력 해상도로도 높은 식별 정확도를 달성할 수 있음을 보여주는 것.
• 학습된 걸음걸이 특징이 성별 식별과 같은 보조 작업에 어떻게 활용될 수 있는지 탐색하는 것.

제안 방법

• 이진 실루엣 계산을 피하기 위해 영상 시퀀스에서 시공간 큐보이드를 추출하여 CNN의 입력으로 사용한다.
• 3차원 옵티컬 플로우 볼륨을 처리하여 계층적이고 분류 가능한 걸음걸이 표현을 학습하는 CNN 아키텍처를 설계한다.
• 최종 완전 연결 층에서 L2 정규화된 특징을 걸음걸이 특징으로 사용하여 분류한다.
• 학습된 특징에 대해 일대다 선형 SVM 또는 최근접 이웃 분류기를 적용하여 사람 식별을 수행한다.
• 최근접 이웃 분류 이전에 특징에 대해 주성분 분석(PCA) 차원 축소를 수행하여 학습 단계를 제거한다.
• 정상(N), 가방(B), 스카프(S) 조건을 포함한 세 가지 테스트 시나리오에서 모델을 평가한다.

실험 결과

연구 질문

• RQ1 수작업 실루엣에 의존하지 않고도 옵티컬 플로우 특징만으로도 최신 기준 성능을 달성할 수 있는가?
• RQ2 낮은 입력 해상도에서 GEI나 밀도 있는 궤적을 사용하는 전통적 걸음걸이 식별 방법과 비교해 본다면, 제안된 방법의 성능는 어떠한가?
• RQ3 학습된 걸음걸이 특징은 의복, 반려물품 지참 조건, 시점 변화 등 다양한 변화에 얼마나 잘 일반화되는가?
• RQ4 학습된 걸음걸이 특징은 성별 식별과 같은 관련 작업에 효과적으로 재사용될 수 있는가?
• RQ5 80×60 해상도의 저해상도 입력을 사용할 경우, 더 높은 해상도 입력에 비해 식별 정확도가 떨어지는가?

주요 결과

• 제안된 CNN는 80×60 해상도의 옵티컬 플로우 입력만으로 TUM-GAID 데이터셋에서 랭크-1 정확도 98.0%를 달성하여, 640×480 입력을 사용한 이전 최신 기준 방법들과 비교해도 뒤지지 않는다.
• CNN-SVM 변종은 모든 시나리오(N, B, S)에서 평균 랭크-1 정확도 98.0%를 기록했으며, PFM를 제외한 모든 이전 방법보다 뛰어나다.
• CNN-NN128 분류기는 세 가지 테스트 시나리오에서 평균 59.4%의 정확도를 기록했으며, 이는 비선형 분류가 선형 SVM보다 성능이 뛰어나다는 점을 보여주며, 걸음걸이 특징이 비선형적으로 분離 가능하다는 것을 시사한다.
• 모델은 오직 운동 특징(옵티컬 플로우)만을 사용하여 성별 식별에서 평균 89.0%의 정확도를 달성했으며, 이는 더 낮은 해상도 입력을 사용했음에도 불구하고 Hofmann 등 [14]의 결과를 뛰어넘는 성능이다.
• 혼동 행렬을 분석한 결과 남성 대상자는 약 96%의 정확도로 식별되었고, 여성 대상자는 약 77%의 정확도로 식별되었으며, 이는 데이터셋 내 클래스 불균형 때문일 가능성이 높다.
• 결과는 옵티컬 플로우 기반 특징만으로도 분류 가능한 걸음걸이 특징을 효과적으로 학습할 수 있으며, 이는 시점 및 외관 변화에 대해 잘 일반화된다는 점을 확인한다.