[논문 리뷰] Sign Language Recognition Using Temporal Classification

Hardie Cate, Fahim Dalvi외 1명|arXiv (Cornell University)|2017. 01. 07.

Hand Gesture Recognition Systems참고 문헌 4인용 수 9

한 줄 요약

이 논문은 웨어러블 센서 기반의 손동작 데이터를 이용해 시간 분류 기법을 적용한 수어 인식 시스템을 제안한다. SVM, 로지스틱 회귀, 순차적 패턴 마이닝(SPM)을 활용해 95개의 수어를 분류하며, 위치 및 회전 특징이 가장 분류에 유의미한 것으로 밝혀졌다. 저품질 데이터에서 SVM를 사용할 경우 테스트 오차율이 45%에 도달했으며, SPM와 특징 연결을 통해 정확도가 1% 향상됨을 보였다.

ABSTRACT

Devices like the Myo armband available in the market today enable us to collect data about the position of a user's hands and fingers over time. We can use these technologies for sign language translation since each sign is roughly a combination of gestures across time. In this work, we utilize a dataset collected by a group at the University of South Wales, which contains parameters, such as hand position, hand rotation, and finger bend, for 95 unique signs. For each input stream representing a sign, we predict which sign class this stream falls into. We begin by implementing baseline SVM and logistic regression models, which perform reasonably well on high quality data. Lower quality data requires a more sophisticated approach, so we explore different methods in temporal classification, including long short term memory architectures and sequential pattern mining methods.

연구 동기 및 목표

• 청각 장애인의 의사소통 장벽을 해소하기 위해 실시간 수어-텍스트 번역을 가능하게 하는 웨어러블 센서 기반 시스템 개발.
• 카메라 기반 시스템의 한계를 극복하기 위해 Myo 아ーム밴드와 같은 웨어러블 장치를 활용해 손과 손가락의 운동 데이터를 캡처.
• 다양한 데이터 품질과 수어자 실력 수준에 일반화 가능한 강건한 시간 분류 모델 개발.
• 수어 분류를 위한 시간적 시계열 센서 데이터에서 가장 분류에 기여도가 높은 특징 식별.
• 고품질 및 저품질 데이터셋에서 SPM, SVM, 로지스틱 회귀 등 다양한 기계학습 기법의 성능 평가 및 비교.

제안 방법

• 웨어러블 장갑에서 확보한 고품질 데이터셋(200 Hz, 6비트 손가락 굽힘, 14비트 손목 위치/자세)과 저품질 데이터셋(50 Hz, 2비트 손가락 굽힘, 8비트 손목 데이터)을 활용.
• 서브샘플링을 통한 신속한 푸리에 변환 복원을 이용해 다양한 서브닝 속도에 따른 서브닝 지속시간을 정규화.
• 다양한 사용자 및 세션 간 서브닝의 진폭 변화를 보정하기 위해 공간 스케일링을 수행.
• 다변량 시계열 데이터에서 분류에 기여하는 시간적 패턴을 추출하기 위해 순차적 패턴 마이닝(SPM)을 적용하며, 윈도우 크기와 패턴 길이 최적화.
• SVM에 대한 아블레이션 연구를 수행해 특징 중요도 평가. 위치, 자세, 손가락 특징를 개별 및 조합적으로 제거.
• SPM를 통해 유도된 특징을 원본 평탄화 특징과 결합하여 모델 성능 향상. 기존 SVM 기반 모델 대비 정확도 1% 향상.

실험 결과

연구 질문

• RQ1 웨어러블 장치를 통해 캡처한 다변량 시계열 센서 데이터로부터 시간 분류 기법이 수어 인식에 효과적으로 작용할 수 있는가?
• RQ2 손목 위치, 자세, 손가락 굽힘 중 어느 센서 특징가 수어 분류에 가장 분류에 기여하는가? (다양한 데이터 품질 수준에서 비교)
• RQ3 샘플링 주파수 및 정밀도 등 데이터 품질이 기계학습 모델의 수어 인식 성능에 어떤 영향을 미치는가?
• RQ4 기존 모델(SVM, 로지스틱 회귀) 대비 순차적 패턴 마이닝(SPM)이 분류 정확도 향상에 얼마나 기여하는가?
• RQ5 SPM로 추출한 특징과 원본 평탄화 특징을 결합하면 분류 성능 향상이 측정 가능한가?

주요 결과

• 오른쪽 손목의 위치 및 자세 특징가 가장 분류에 기여도가 높으며, SVM 아블레이션에서 이들을 제거할 경우 테스트 오차율이 0.450에서 0.786으로 증가함.
• 위치 및 자세 특징를 동시에 제거할 경우 오차율이 0.881로 급격히 증가하여 이들이 수어 분류에 핵심적인 역할을 함을 시사함.
• 손가락 굽힘 특징는 성능에 기여도가 낮으며, 제거해도 오차율 증가가 미미함 (예: F4 제거 시 오차율 0.458).
• SPM 모델은 작은 윈도우 크기와 최대 패턴 길이(10 미만)에서 최적의 성능를 보이며, 순순간적인 동작이 더 분류에 유의미한 것으로 나타남.
• SPM 유도 특징를 원본 평탄화 특징와 결합함으로써 기존 SVM 기반 모델 대비 정확도 1% 향상됨 (소규모 서브셋에서 확인).
• 수어 클래스 수가 증가할수록 최적의 SPM 윈도우 크기가 감소함을 확인하여, 패턴의 특이성과 일반화 능력 사이의 상충관계를 확인함.