[논문 리뷰] Motion-Based Handwriting Recognition

Junshen Kevin Chen, Wanze Xie외 1명|arXiv (Cornell University)|2021. 01. 15.

Hand Gesture Recognition Systems참고 문헌 22인용 수 4

한 줄 요약

이 논문은 시각 입력이나 디지타이저 타블렛이 필요 없이 스마트 펜의 관성 센서 데이터를 이용한 동작 기반 필기 인식 기술을 제안한다. 20명의 사용자가 소문자 알파벳을 쓰는 동안 얻은 요, 피치, 롤 및 가속도 데이터를 총 10,400개의 시퀀스로 수집하여, 데이터 증강, 오토에인코더 기반 노이즈 제거, KNN, SVM, CNN, RNN 분류기 학습을 수행한 결과, 무작위 분할 실험에선 86.6%의 정확도를, 사용자 분할 실험에선 53.6%의 정확도를 기록하였으며, RNN에 데이터 증강과 노이즈 제거를 적용한 조합이 가장 뛰어난 성능을 보였다.

ABSTRACT

We attempt to overcome the restriction of requiring a writing surface for handwriting recognition. In this study, we design a prototype of a stylus equipped with motion sensor, and utilizes gyroscopic and acceleration sensor reading to perform written letter classification using various deep learning techniques such as CNN and RNNs. We also explore various data augmentation techniques and their effects, reaching up to 86% accuracy.

연구 동기 및 목표

• 가상현실/증강현실 또는 펜 전용 환경에서 시각 입력이나 디지타이저 표면 없이 필기 문자를 인식하는 데 도전하는 것.
• 스마트 펜의 관성 센서 데이터(요, 피치, 롤, 가속도)만을 이용해 필기된 문자를 분류하는 새로운 문제를 정의하고 해결하는 것.
• 자체 제작한 하드웨어 시스템을 이용해 20명의 사용자로부터 총 10,400개의 필기 소문자 시퀀스로 구성된 새로운 다양성 있는 데이터셋을 수집하는 것.
• 특징 보간, 데이터 증강, 오토에인코더 기반 노이즈 제거, 다양한 분류기 통합을 포함한 견고한 파ip라인을 개발하여 동작 기반 인식을 위한 흐름을 확립하는 것.
• 특히 훈련 데이터와 테스트 데이터의 사용자가 다를 경우, 즉 사용자 분할 설정에서의 모델 일반화 능력을 평가하는 것.

제안 방법

• MPU9250 9축 관성 측정 장치, 아두이노 유노, 3D 프린팅으로 제작한 펜 장착대를 사용해 실시간 필기 동작 데이터를 캡처하는 맞춤형 하드웨어 시스템을 구축하였다.
• 20명의 다른 사용자로부터 각 소문자 알파벳에 대해 20개의 시퀀스를 수집하여 총 10,400개의 시퀀스를 확보하였으며, 시간 태그가 부여된 요, 피치, 롤 및 가속도 값을 포함하였다.
• 변동 길이의 시퀀스를 정렬하기 위해 특징 보간을 적용하고, 훈련 다양성을 높이기 위해 데이터 증강을 실시하며, 센서 노이즈를 줄이기 위해 노이즈 제거 오토에인코더를 사용하였다.
• 사전 처리된 동작 시퀀스를 기반으로 KNN, SVM, CNN, RNN 분류기를 훈련시켜 필기된 문자를 예측하도록 하였다.
• 무작위 분할(모든 사용자가 혼합된 경우)과 사용자 분할(훈련 및 테스트에 서로 다른 사용자 사용)의 두 가지 설정에서 모델을 평가하였으며, 데이터 증강과 노이즈 제거의 영향을 분석하기 위한 아블레이션 연구도 수행하였다.
• 혼동 행렬과 성능 추적을 통해 모델의 행동을 분석하였으며, 특히 필기 스타일의 다양성에 따른 과적합과 일반화 능력을 중심으로 분석하였다.

실험 결과

연구 질문

• RQ1 비시각적 입력이나 디지타이저 표면 없이 펜의 관성 센서 데이터만으로 필기 인식을 효과적으로 수행할 수 있는가?
• RQ2 오토에인코더를 통한 데이터 증강과 노이즈 제거가 동작 기반 필기 인식에서 모델의 일반화 능력에 어떤 영향을 미치는가?
• RQ3 KNN, SVM, CNN, RNN 등의 다양한 분류기 중 어떤 것이 다양한 필기 스타일을 가진 사용자 간에 얼마나 잘 일반화되는가?
• RQ4 데이터 분할 방식(무작위 분할 대 사용자 기반 분할)의 선택이 모델 성능에 유의미한 영향을 미치는가? 그 이유는 무엇인가?
• RQ5 센서 데이터의 특이성이나 사용자 간 필기 스타일의 변동성 등 주요 요인 중 성능 저하의 원인은 무엇인가?

주요 결과

• 무작위 분할 실험에서 가장 뛰어난 성능을 보인 RNN 모델은 데이터 증강과 노이즈 제거 오토에인코더를 적용한 결과 86.6%의 정확도를 기록하였다.
• 사용자 분할 평가에서는 최고 성능 모델이 53.6%의 정확도를 기록하였으며, 이는 다양한 필기 습관 간 일반화에 큰 도전 과제가 있음을 시사한다.
• 모든 모델에서 데이터 증강이 테스트 정확도를 크게 향상시켰으며, 특히 사용자 분할 설정에서 과적합을 줄이는 데 기여하였다.
• 오토에인코더를 통한 노이즈 제거로 모든 모델에서 정확도가 0.6~1.0%p 향상되었으며, 센서 노이즈가 학습을 방해한다는 점을 확인하였다.
• SVM과 KNN는 사용자 분할 설정에서 일반화 능력이 떨어졌으며, KNN는 단지 12.8%의 정확도를 기록하여 비시계열 모델의 한계를 드러내었다.
• 모든 모델가 사용자 분할 실험에서 심각한 과적합을 보였으며, 이는 필기 스타일의 변동성이 일반화에 있어 주요 장애물임을 시사한다.