[논문 리뷰] Combining ConvNets with Hand-Crafted Features for Action Recognition Based on an HMM-SVM Classifier

Pichao Wang, Zhaoyang Li외 2명|arXiv (Cornell University)|2016. 02. 01.

Human Pose and Action Recognition참고 문헌 24인용 수 4

한 줄 요약

이 논문은 깊이 맵에서의 컨볼루션 네트워크(CNN)로부터 추출한 딥 특징과 수작업으로 만든 뼈대 특징을 융합하는 새로운 RGB-D 행동 인식 프레임워크를 제안한다. 이는 IGMM 기반 분할과 HMM-SVM를 이용한 시간적 모델링을 통해 국소적인 운동 패tern과 전역적인 시퀀스 모델링을 결합함으로써 더 높은 강인성을 달성하며, 순수하게 딥 러닝이나 수작업 특징에 의존하는 기존 방법들보다 우수한 성능을 보인다.

ABSTRACT

This paper proposes a new framework for RGB-D-based action recognition that takes advantages of hand-designed features from skeleton data and deeply learned features from depth maps, and exploits effectively both the local and global temporal information. Specifically, depth and skeleton data are firstly augmented for deep learning and making the recognition insensitive to view variance. Secondly, depth sequences are segmented using the hand-crafted features based on skeleton joints motion histogram to exploit the local temporal information. All training se gments are clustered using an Infinite Gaussian Mixture Model (IGMM) through Bayesian estimation and labelled for training Convolutional Neural Networks (ConvNets) on the depth maps. Thus, a depth sequence can be reliably encoded into a sequence of segment labels. Finally, the sequence of labels is fed into a joint Hidden Markov Model and Support Vector Machine (HMM-SVM) classifier to explore the global temporal information for final recognition.

연구 동기 및 목표

• 행동 인식에서 전역적인 이동, 회전, 스케일링에 대한 순수 딥 러닝 모델의 한계를 해결하기 위해.
• HOD와 같은 수작업 특징의 불변성 특성을 활용하여 안정적인 국소적 시간 모델링을 구현하기 위해.
• HMM-SVM를 통해 컨볼루션 네트워크에서 추출한 국소적 공간-시간 특징과 전역적인 순서적 의존성을 효과적으로 융합하기 위해.
• 깊이 및 뼈대 시퀀스의 데이터 증강을 통해 시야 변동에 대한 민감도를 감소시키기 위해.
• 뼈대 기반 운동 히스토GRAM을 이용해 의미 있는 비디오 세그먼트를 생성하여 딥 네트워크의 신뢰할 수 있는 학습을 가능하게 하기 위해.

제안 방법

• 뼈대 관절의 운동 히스토GRAM을 기반으로 한 수작업 특징을 사용하여 깊이 시퀀스를 분할하여 국소적 시간 역학을 포착한다.
• 베이지안 추정을 적용한 무한 가우시안 혼합 모델(IGMM)을 사용하여 학습 세그먼트를 군집화하고, 컨볼루션 네트워크 학습을 위한 레이블을 할당한다.
• 첫 번째 프레임에 특수한 처리를 적용하여 초기 자세를 유지하고 시간 대비 대비를 향상시키며, 운동 에너지를 중첩함으로써 수정된 깊이 운동 맵(DMMs)을 구성한다.
• 무지개 변환을 사용하여 DMM에 의사색상 코딩을 적용하여 컨볼루션 네트워크 입력에 대한 판별 능력을 향상시킨다.
• 세 개의 정규화된 투영 평면에서의 의사색상 DMM에 대해 세 개의 병렬 컨볼루션 네트워크를 훈련하고, 출력을 평균하여 세그먼트 레이블링을 수행한다.
• 컨볼루션 네트워크가 예측한 레이블의 시퀀스를 공동 HMM-SVM 분류기의 입력으로 사용하며, HMM은 전역적인 시간적 구조를 모델링하고 SVM은 최종 판별적 분류를 수행한다.

실험 결과

연구 질문

• RQ1 깊이 맵에서의 수작업 특징과 딥 특징을 융합함으로써 행동 인식 성능 향상이 가능한가?
• RQ2 뼈대 특징을 기반으로 한 IGMM 기반의 깊이 시퀀스 분할이 국소적 시간 모델링에 얼마나 효과적인가?
• RQ3 HMM-SVM 프레임워크는 단독 모델 대비 행동 시퀀스의 전역적 시간 의존성을 얼마나 잘 활용하는가?
• RQ4 DMM에 대한 의사색상 코딩이 컨볼루션 네트워크의 판별 능력을 향상시키는가?
• RQ5 깊이 및 뼈대 시퀀스의 데이터 증강이 행동 인식에서 시야 변동에 대한 민감도를 감소시키는가?

주요 결과

• 제안된 프레임워크는 HMM-SVM를 통한 전역적 순서 모델링과 컨볼루션 네트워크에서 추출한 국소적 공간-시간 특징을 효과적으로 융합함으로써 뛰어난 성능을 달성한다.
• 뼈대 기반 세그먼트의 IGMM 군집화는 훈련 데이터의 신뢰성 있는 레이블링을 가능하게 하여 컨볼루션 네트워크의 일반화 능력을 향상시킨다.
• 초기 자세를 유지하고 운동 에너지를 강화한 수정된 DMM은 반대 방향으로 손을 흔드는 유사 행동 간의 판별 능력을 향상시킨다.
• DMM에 대한 의사색상 코딩은 특징의 판별 능력을 크게 향상시키며, 그 결과 Fig. 2에서 명확한 시각적 분리가 관찰된다.
• HMM-SVM 분류기는 단독 HMM 또는 SVM보다 우수한 성능를 보이며, 시간적 구조와 판별 능력을 공동으로 모델링하는 데서 유의미한 이점이 있음을 입증한다.
• 훈련 중 깊이 및 뼈대 시퀀스의 데이터 증강 덕분에 시야 변동에 대해 뛰어난 강인성을 보인다.