[논문 리뷰] Deep video gesture recognition using illumination invariants

Otkrist Gupta, Dan Raviv외 1명|arXiv (Cornell University)|2016. 03. 21.

Hand Gesture Recognition Systems참고 문헌 50인용 수 9

한 줄 요약

이 논문은 새로운 적응형 정규화 레이어와 스택드 오토에인코더를 활용한 준감독 학습을 통해 조명에 강인한 특징을 사용하는 딥 비디오 제스처 인식 시스템을 제안한다. 대량의 레이블이 없는 비디오 데이터에서의 비지도 사전학습과 레이블이 있는 데이터에서의 미세조정을 통해, 다양한 조명 조건 하에서도 기존 방법보다 최대 10% 향상된 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

In this paper we present architectures based on deep neural nets for gesture recognition in videos, which are invariant to local scaling. We amalgamate autoencoder and predictor architectures using an adaptive weighting scheme coping with a reduced size labeled dataset, while enriching our models from enormous unlabeled sets. We further improve robustness to lighting conditions by introducing a new adaptive filer based on temporal local scale normalization. We provide superior results over known methods, including recent reported approaches based on neural nets.

연구 동기 및 목표

• 다양한 조명 조건에서도 강인한 성능을 보이는 비디오 기반 얼굴 제스처 인식을 위한 딥 러닝 프레임워크를 개발하는 것.
• 비디오 제스처 인식에서 레이블이 부족한 문제를 해결하기 위해 대규모 레이블이 없는 비디오 데이터를 준감독 학습을 통해 활용하는 것.
• 네트워크 아키텍처 내에 적응형, 학습 가능한 정규화 레이어를 도입하여 시간에 따른 조명 변화에 대한 모델 강인성을 향상시키는 것.
• 스케일 불변성과 조명 변화에 대한 민감도를 줄이며 비디오 제스처 인식에서 최신 기술 수준의 성능를 달성하는 것.

제안 방법

• 스택드 오토에인코더를 사용하여 수백만 개의 레이블이 없는 비디오 클립에서 비지도 사전학습을 수행하여 시공간 특징을 학습한다.
• 오토에인코더 가중치로 초기화된 후, 소규모 레이블이 있는 데이터셋에서 감독 예측망을 미세조정하여 효과적인 준감독 학습을 수행한다.
• 학습 중에 특징을 동적으로 정규화하고 조명 간 인variant 특징을 향상시키기 위해 적응형 시간적 국소 스케일 정규화 레이어를 도입한다.
• 비디오 시퀀스에서 시공간 특징을 추출하기 위해 4차원 컨볼루션 레이어를 사용하여 운동과 외관 다이내믹스를 포착한다.
• 적응형 정규화 레이어는 미분 가능하며 네트워크의 나머지 부분과 함께 공동 최적화되어 조명 간 인variant 표현의 엔드 투 엔드 학습을 가능하게 한다.
• 오토에인코더의 재구성 손실과 예측 헤드의 분류 손실을 조합한 하이브리드 손실을 사용하여 시스템을 훈련한다.

실험 결과

연구 질문

• RQ1 작은 수의 레이블이 있는 예시와 방대한 수의 레이블이 없는 비디오 데이터만을 사용하여 딥 신경망을 효과적으로 비디오 제스처 인식에 훈련시킬 수 있는가?
• RQ2 딥 러닝 프레임워크 내에서 비디오 시퀀스의 조명 변동을 어떻게 완화할 수 있으며, 이를 통해 인식 강인성을 향상시킬 수 있는가?
• RQ3 고정된 정규화 기법(예: 로컬 응답 정규화)에 비해 적응형, 학습 가능한 정규화 레이어가 조명 변화를 다룰 때 더 우수한 성능을 보일 수 있는가?
• RQ4 스케일 불변 아키텍처는 실제 조명 변화가 존재하는 환경에서 비디오 제스처 인식 작업의 성능 향상에 기여할 수 있는가?

주요 결과

• 제안된 방법은 CK+ 데이터셋에서 73.68%의 정확도를 달성하여 이전 최고 성능 방법보다 4.26% 향상되었다.
• MMI 데이터셋에서는 59.03%의 정확도를 기록하여 준감독 기반 베이스라인보다 3.33% 포인트 높았다.
• 적응형 정규화 레이어는 특히 대규모 데이터셋에서 고정된 로컬 응답 정규화 기법에 비해 성능 향상이著격했다.
• 다양한 데이터셋(예: Florentine 및 CK+)에서 조명 변화에 강인한 성능을 보이며 일관된 성능 향상을 보였다.
• 대규모 레이블이 없는 데이터에서의 훈련에 3일 이상이 소요되어 딥 오토에인코더 사전학습의 계산 비용이 크다는 점을 시사했다.
• 성능는 우수하지만, 전면 시야 및 고정된 입력 프레임 크기 제한으로 인해 비제약 환경으로의 일반화 능력이 제한된다.