[논문 리뷰] Lexicon-Free Fingerspelling Recognition from Video: Data, Models, and Signer Adaptation

Tae-Hwan Kim, Jonathan Keane외 6명|arXiv (Cornell University)|2016. 09. 26.

Hand Gesture Recognition Systems참고 문헌 65인용 수 3

한 줄 요약

이 논문은 새로운 다중 서너이어 비디오 데이터셋과 딥 러닝 기반 모델을 사용하여 미국 수어(ASL)의 어휘에 의존하지 않는 손가락 문자 인식 시스템을 제안한다. DNN 특징을 활용한 세그먼탈 조건부 랜덤 필드를 적용하여 서너이어에 의존하는 설정에서는 92%의 정확도를, 다중 서너이어 설정에서는 신경망 적응 기법을 통해 83%의 정확도를 달성하여 다양한 서너이어와 기록 조건 간의 강건한 인식을 향상시켰다.

ABSTRACT

We study the problem of recognizing video sequences of fingerspelled letters in American Sign Language (ASL). Fingerspelling comprises a significant but relatively understudied part of ASL. Recognizing fingerspelling is challenging for a number of reasons: It involves quick, small motions that are often highly coarticulated; it exhibits significant variation between signers; and there has been a dearth of continuous fingerspelling data collected. In this work we collect and annotate a new data set of continuous fingerspelling videos, compare several types of recognizers, and explore the problem of signer variation. Our best-performing models are segmental (semi-Markov) conditional random fields using deep neural network-based features. In the signer-dependent setting, our recognizers achieve up to about 92% letter accuracy. The multi-signer setting is much more challenging, but with neural network adaptation we achieve up to 83% letter accuracies in this setting.

연구 동기 및 목표

• 다양한 서너이어 간에 높은 변동성이 있는 연속적인 손가락 문자 인식에 도전하는 것.
• 강건한 인식 연구를 지원하기 위해 새로운 대규모 다중 서너이어 연속 손가락 문자 비디오 데이터셋을 수집하고 애너테이션하는 것.
• 서너이어의 서빙 스타일과 비디오 조건의 차이에도 불구하고 일반화 가능한 딥 러닝 기반 모델을 개발하고 평가하는 것.
• 서너이어에 의존하지 않는 모델을 넘어서 다중 서너이어 인식 성능을 향상시키는 효과적인 적응 기법을 탐구하는 것.

제안 방법

• 저자들은 지상 진술 세그먼테이션과 피크 손형 애너테이션을 포함한 새로운 다중 서너이어 연속 손가락 문자 비디오 데이터셋을 수집하고 애너테이션했다.
• 비디오 프레임에서 추출한 딥 뉴럴 네트워크(DNN) 특징을 사용하여 손형과 운동 역학을 표현했다.
• 문자 시퀀스를 인식하기 위해 시퀀스 모델링 프레임워크로 세그먼탈(반-마르코프) 조건부 랜덤 필드(CRFs)를 사용했다.
• 다중 서너이어 설정에서 일반화를 향상시키기 위해 신경망 적응 기법을 적용하여 서너이어에 의존하는 설정에서 다중 서너이어 설정으로의 성능 저하를 감소시켰다.
• 시스템은 예술적 특징을 사용하여 손가락 문자를 이산적인 손형으로 모델링하고, 인식의 목표로 피크 손형 프레임을 사용했다.
• 손형을 일관되게 기술하기 위해 관절의 결합 각도(MCP, PIP) 기반의 음성학적 특징 표현을 정의했다.

실험 결과

연구 질문

• RQ1 연속적인 비디오 데이터를 사용할 때, 어휘에 의존하지 않는 손가락 문자 인식의 성능은 서너이어에 의존하는 설정과 다중 서너이어 설정에서 어떻게 되는가?
• RQ2 예를 들어 CRF와 HMM 등 다른 시퀀스 모델링 아키텍처는 연속적인 손가락 문자 시퀀스 인식에서 어떻게 비교되는가?
• RQ3 신경망 적응 기법은 서너이어에 의존하는 모델에 비해 다중 서너이어 인식에서 성능 저하를 어느 정도 완화할 수 있는가?
• RQ4 DNN 기반 특징은 연속적인 손가락 문자에서 미세한 공음화된 손형 역학을 포착하는 데 얼마나 효과적인가?
• RQ5 고품질의 다중 서너이어 비디오 애너테이션은 인식 정확도 향상과 모델 일반화에 어떤 역할을 하는가?

주요 결과

• 서너이어에 의존하는 설정에서는 세그먼탈 CRF와 DNN 특징을 사용한 최고의 모델이 92%의 문자 정확도를 달성했다.
• 더 도전적인 다중 서너이어 설정에서는 신경망 적응 기법을 통해 최대 83%의 인식 정확도를 달성했다.
• 세그먼탈 CRF의 사용은 HMM과 같은 간단한 모델보다 뚜렷하게 뛰어난 성능을 보였으며, 특히 문자 간의 공음화된 전이를 다룰 때 유리했다.
• DNN 기반 특징은 미세한 손형 역학을 포착하고 다양한 서너이어 간의 강건성을 향상시키는 데 핵심적인 역할을 했다.
• 피크 손형 레이블링과 음성학적 특징 정의를 포함한 제안된 애너테이션 체계는 일관되고 신뢰할 수 있는 모델 훈련 및 평가를 가능하게 했다.
• 새로운 데이터셋은 말 데이터에 비해 크기가 작지만, 닫힌 어휘에 제한되지 않은 알려진 바에 가장 큰 다중 서너이어 연속 손가락 문자 비디오 데이터셋이다.