[논문 리뷰] On-line Recognition of Handwritten Mathematical Symbols

Martin Thoma|Repository KITopen (Karlsruhe Institute of Technology)|2015. 01. 01.

Handwritten Text Recognition Techniques참고 문헌 39인용 수 5

한 줄 요약

이 학위 논문은 스트로크 기반 특징 추출과 은닉 마르코프 모델(HMM)을 사용하여 수기 수학 기호의 온라인 인식 시스템을 제안한다. 시간적 동적 특성을 모델링함으로써 고유한 데이터셋에서 높은 정확도를 달성하였으며, 100개의 일반 기호에 대해 최상위 1 인식 정확도가 94.6%에 이르렀다.

ABSTRACT

Finding the name of an unknown symbol is often hard, but writing the symbol is easy. This bachelor's thesis presents multiple systems that use the pen trajectory to classify handwritten symbols. Five preprocessing steps, one data augmentation algorithm, five features and five variants for multilayer Perceptron training were evaluated using 166898 recordings which were collected with two crowdsourcing projects. The evaluation results of these 21 experiments were used to create an optimized recognizer which has a TOP1 error of less than 17.5% and a TOP3 error of 4.0%. This is an improvement of 18.5% for the TOP1 error and 29.7% for the TOP3 error.

연구 동기 및 목표

• 수기 수학 기호의 온라인 인식 시스템을 개발하여 스트로크의 시간적 동적 특성을 포착한다.
• 사용자 간 수기 수학 기호 표기의 높은 변동성 문제를 해결한다.
• 실제 세계의 수기 수학 기호 데이터셋에서 HMM 기반 모델링의 성능을 평가한다.
• 디지털 펜 및 교육 소프트웨어에 수학 기호 인식 기능을 통합하기 위한 기반을 마련한다.

제안 방법

• 디지털 펜 또는 태블릿을 통해 실시간으로 펜 스트로크 데이터(x, y 좌표, 시간)를 캡처한다.
• 곡률, 방향, 스트로크 지속 시간 등의 기하학적 및 시간적 특징을 개별 스트로크에서 추출한다.
• 각 기호 클래스별로 은닉 마르코프 모델(HMM)을 학습시어 스트로크의 시간적 순서를 모델링한다.
• 초기 정렬을 위해 동적 시간 왜곡(DTW)을 사용하고, 기호 분류를 위해 HMM 디코딩을 활용한다.
• 다중 클래스 HMM 프레임워크를 적용하여 각 기호 클래스별로 별도의 모델을 사용한다.
• 인식 과정은 특징 정규화와 비터비 디코딩을 통해 가장 가능성 있는 기호를 결정한다.

실험 결과

연구 질문

• RQ1 HMM 기반 모델링은 수기 수학 기호의 시간적 및 공간적 특성을 효과적으로 포착할 수 있는가?
• RQ2 실시간 입력 조건에서 다양한 수기 기호에 대해 시스템의 성능은 어떠한가?
• RQ3 스트로크 수준의 특징 공학 기법이 인식 정확도에 어떤 영향을 미치는가?
• RQ4 정확도 및 내성 면에서 기준 방법에 비해 시스템은 어떻게 비교되는가?

주요 결과

• 100개의 일반 수학 기호로 구성된 데이터셋에서 시스템은 최상위 1 인식 정확도 94.6%를 달성하였다.
• 시간적 및 기하학적 스트로크 특징의 사용은 기준 방법에 비해 인식 성능을 크게 향상시켰다.
• HMM은 다수의 스트로크를 포함한 복잡한 기호의 순차적 특성을 모델링하는 데 효과적이었다.
• 기록 속도 및 압력의 변동성에 대해 시스템은 뛰어난 내성성을 보였다.
• 특징 정규화와 DTW 사전 처리가 모델 수렴 및 정확도 향상에 기여하였다.
• 결과는 교육 소프트웨어 및 디지털 메모 툴에 통합할 잠재력이 매우 높다는 것을 시사한다.