[논문 리뷰] Improving Accuracy and Explainability of Online Handwriting Recognition

Hilda Azimi, Steven Chang외 2명|arXiv (Cornell University)|2022. 09. 14.

Handwritten Text Recognition Techniques인용 수 5

한 줄 요약

이 논문은 최적화된 기계학습(ML) 및 딥러닝(DL) 모델을 사용하여 OnHW-chars 데이터셋에서 온라인 필기 인식 정확도를 향상시켰으며, 이전의 ML 모델 대비 최대 23.56% 향상되고 이전의 DL 모델 대비 7.01% 향상된 성능을 달성하였다. 주목적 기반 설명 방법을 통해 모델의 해석 가능성을 향상시키고, 다양한 모델이 서로 다른 신호 특징에 주목함으로써 상호보완적인 실패 패턴을 보이며 강건성을 향상시킴으로써 앙상블 학습의 타당성을 입증하였다.

ABSTRACT

Handwriting recognition technology allows recognizing a written text from a given data. The recognition task can target letters, symbols, or words, and the input data can be a digital image or recorded by various sensors. A wide range of applications from signature verification to electronic document processing can be realized by implementing efficient and accurate handwriting recognition algorithms. Over the years, there has been an increasing interest in experimenting with different types of technology to collect handwriting data, create datasets, and develop algorithms to recognize characters and symbols. More recently, the OnHW-chars dataset has been published that contains multivariate time series data of the English alphabet collected using a ballpoint pen fitted with sensors. The authors of OnHW-chars also provided some baseline results through their machine learning (ML) and deep learning (DL) classifiers. In this paper, we develop handwriting recognition models on the OnHW-chars dataset and improve the accuracy of previous models. More specifically, our ML models provide $11.3\%$-$23.56\%$ improvements over the previous ML models, and our optimized DL models with ensemble learning provide $3.08\%$-$7.01\%$ improvements over the previous DL models. In addition to our accuracy improvements over the spectrum, we aim to provide some level of explainability for our models to provide more logic behind chosen methods and why the models make sense for the data type in the dataset. Our results are verifiable and reproducible via the provided public repository.

연구 동기 및 목표

• OnHW-chars 데이터셋에서 온라인 필기 인식 모델의 최신 기술 수준 정확도를 향상시키는 것.
• 주목적 기반 설명 방법을 통해 특징 중요도를 분석하여 모델의 해석 가능성을 제공하는 것.
• 서로 다른 실패 패턴과 주목적 맵을 통한 분석을 통해 앙상블 학습의 효과성과 타당성을 입증하고 설명하는 것.
• 모든 코드와 훈련된 모델을 공개 저장소에 배포하여 재현 가능성을 확보하는 것.

제안 방법

• OnHW-chars 데이터셋의 다변량 시계열 데이터를 기반으로 특징 공학 및 하이퍼파ram터 튜닝을 수행하여 다양한 ML 모델(SVM, 랜덤 포레스트, XGBoost)을 훈련하고 최적화하였다.
• 시간적 모델링과 예측 정확도 향상을 위해 주목적 기반 메커니즘을 갖춘 딥러닝 아키텍처(LSTM, InceptionTime, XceptionTime)를 개발하고 미세 조정하였다.
• 기울기 기반의 샐런시 방법을 적용하여 예측에 가장 기여하는 센서 채널과 시간 단위를 강조하는 주목적 맵을 생성하였다.
• 16개의 다양한 모델의 예측을 조합하여 앙상블 학습을 수행하였으며, 이는 서로 다른 실패 패턴과 주목적 분포를 활용하여 전체 정확도를 향상시켰다.
• 일반화 능력과 강건성을 확보하기 위해 30개의 분할(5겹 교차검증 × 6개 데이터셋)을 기반으로 작성자 독립형 및 작성자 종속형 평가를 수행하였다.
• 다양한 아키텍처 간의 모델 행동을 비교하기 위해 정확한 및 잘못된 예측에 대한 주목적 맵의 시각화를 수행하여 모델 성능 및 해석 가능성을 검증하였다.

실험 결과

연구 질문

• RQ1 최적화된 ML 및 DL 모델은 OnHW-chars 데이터셋에서 이전 최신 기술 수준의 모델보다 더 높은 정확도를 달성할 수 있는가?
• RQ2 주목적 기반 설명 방법은 온라인 필기 인식에서 모델 예측의 근거를 어느 정도 드러낼 수 있는가?
• RQ3 다른 딥러닝 모델들이 다변량 시계열의 서로 다른 부분에 주목하는가? 이는 상호보완적인 예측 능력을 시사하는가?
• RQ4 앙상블 학습은 다양한 모델을 효과적으로 조합하여 전체 인식 정확도를 향상시킬 수 있으며, 이는 그들의 고유한 실패 패턴과 주목적 분포에 의해 정당화되는가?

주요 결과

• 제안된 ML 모델은 [27]에서 보고된 베이스라인 모델 대비 11.3%에서 23.56%까지 정확도 향상을 달성하였다.
• 최적화된 DL 모델을 앙상블 학습을 통해 조합한 결과, [26]에서 보고된 이전 최신 기술 수준의 DL 모델 대비 3.08%에서 7.01%까지 정확도 향상을 달성하였다.
• 주목적 기반 설명은 서로 다른 모델이 서로 다른 센서 채널과 시간 세그먼트에 중요도를 부여함으로써 상호보완적인 행동을 보임을 시사하였다.
• 정확한 및 잘못된 예측의 시각적 분석을 통해 InceptionTime 및 XceptionTime과 같은 모델이 서로 다른 오류를 범하며, 채널 및 시간 단위에서 고유한 주목적 패턴을 보임을 확인하였다.
• 16개 모델의 앙상블는 실패 케이스가 서로 다른 모델에 분포함으로써 강건성이 향상되었으며, 이는 앙상블 학습의 효과성을 뒷받침하였다.
• 모든 결과는 공개 저장소를 통해 재현 가능하며, 투명성과 검증 가능성을 보장한다.