[논문 리뷰] Multi-velocity neural networks for gesture recognition in videos

Otkrist Gupta, Dan Raviv외 1명|arXiv (Cornell University)|2016. 03. 22.

Human Pose and Action Recognition참고 문헌 45인용 수 4

한 줄 요약

이 논문은 대규모 얼굴 영상 데이터셋을 사용한 준지도 학습 프로토콜을 통해 비디오 내 제스처 인식을 위한 최적의 시간 샘플링 속도를 적응적으로 학습하는 다중 속도 신경망을 소개한다. 시간 컨volution 레이어와 분류 손실을 조합함으로써 다양한 운동 속도에서 강건한 행동 인식이 가능해지며, 여러 벤치마크 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

We present a new action recognition deep neural network which adaptively learns the best action velocities in addition to the classification. While deep neural networks have reached maturity for image understanding tasks, we are still exploring network topologies and features to handle the richer environment of video clips. Here, we tackle the problem of multiple velocities in action recognition, and provide state-of-the-art results for gesture recognition, on known and new collected datasets. We further provide the training steps for our semi-supervised network, suited to learn from huge unlabeled datasets with only a fraction of labeled examples.

연구 동기 및 목표

• 표준 딥 네트워크의 성능 저하를 초래하는 비디오 제스처 인식에서의 다양한 동작 속도 문제를 해결하기 위해.
• 학습 중에 최적의 시간 샘플링 속도를 학습하는 새로운 신경망 아키텍처를 개발하여 운동 속도 변화에 대해 불변성을 확보하기 위해.
• 소량의 레이블이 있는 예시만을 사용하여 대규모 레이블 없음 영상 데이터셋을 효과적으로 활용하는 준지도 학습을 가능하게 하기 위해.
• 향후 연구를 지원하기 위해 지금까지 가장 큰 얼굴 표정 영상 데이터셋을 구축하고 공개하기 위해.

제안 방법

• B-spline 보간을 사용하여 비디오 프레임을 적응적으로 재샘플링하는 다중 속도 레이어를 제안하여 다양한 시간 스케일에서 운동 불변 특징을 학습한다.
• 비지도 사전 훈련을 위해 시간 컨volution 오토인코더를 사용하고, 지도 학습을 위한 미세조정을 위해 분류 손실을 결합한 하이브리드 훈련 전략을 적용한다.
• 잔차 연결을 갖춘 깊은 시공간 컨volution 신경망을 사용하며, 복구 및 분류 목표를 동시에 최적화하여 백프로파게이션을 통해 엔드 투 엔드로 훈련한다.
• 다중 시간 해상도에서 비디오 시퀀스를 재구성하기 위해 B-spline 보간을 적용하여 네트워크가 속도에 강건한 표현을 학습할 수 있도록 한다.
• 준지도 학습 프로토콜을 구현하여 오토인코더는 레이블이 없는 데이터에서 시간 패턴을 학습하고, 분류기는 소량의 레이블이 있는 부분집합에서 훈련된다.
• 자동화된 데이터 수집 파이프라인을 통해 수집한 650만 개의 영상 클립(162M장의 얼굴 이미지, 78억 건의 레이블)을 포함한 대규모 데이터셋을 활용한다.

실험 결과

연구 질문

• RQ1 변동하는 운동 속도를 가진 비디오에서 행동 인식을 위한 딥 네트워크가 최적의 시간 샘플링 속도를 적응적으로 학습할 수 있는가?
• RQ2 레이블이 소수에 불과한 경우 준지도 학습을 비디오 제스처 인식에 효과적으로 적용할 수 있는가?
• RQ3 대규모 고품질 영상 데이터셋은 얼굴 표정 인식 성능 향상에 어떤 영향을 미치는가?
• RQ4 고정된 샘플링 속도 대비 다중 속도 레이어가 다양한 동작 속도에서 일반화 성능을 향상시킬 수 있는가?
• RQ5 제안된 하이브리드 오토인코더-분류기 훈련 프레임워크는 엔드 투 엔드 지도 학습 또는 전통적인 준지도 학습 방법보다 어떻게 비교되는가?

주요 결과

• MMI 데이터셋에서 10겹 교차 검증 시 66.15%의 정확도를 기록하여 이전 최고 성능(63.4%)을 초월한다.
• CK+ 데이터셋에서 94.18%의 정확도를 달성하여 이전 SOTA(92.4%)를 뛰어넘는다.
• 모든 테스트된 데이터셋(MMI, CK+, Asevo)에서 최신 기술 수준의 성능를 기록하며, 여러 커널 및 표현 레이어 기반 베이스라인 대비 일관된 향상을 보인다.
• 162M장의 레이블이 없는 이미지 데이터셋을 사용함으로써 일반화 성능 향상이 크게 향상되었으며, 레이블이 2,777개 뿐인 경우에도 효과적이다.
• 다중 속도 레이어를 통해 네트워크는 운동 불변 특징을 학습하여 동작 속도의 시간적 변동성에 민감도를 감소시킨다.
• 준지도 학습 프로토콜은 레이블이 없는 데이터를 효과적으로 활용하며, 소량의 레이블만으로도 성능 향상이 뚜렷하게 나타난다.