[论文解读] AltecOnDB: A Large-Vocabulary Arabic Online Handwriting Recognition Database

Ibrahim Abdelaziz, Sherif Abdou|arXiv (Cornell University)|Dec 24, 2014

Handwritten Text Recognition Techniques参考文献 20被引用 17

一句话总结

本文介绍了 AltecOnDB，这是一个大规模词汇量的阿拉伯语在线手写识别数据库，包含1,000位风格多样的书写者，覆盖句子、单词和字符层级，以增强上下文建模。采用五元语法语言模型的两阶段识别系统实现了51.65%的准确率，显著优于无语言建模基线的34.30%，证明了在复杂脚本中高层语言上下文的重要价值。

ABSTRACT

Arabic is a semitic language characterized by a complex and rich morphology. The exceptional degree of ambiguity in the writing system, the rich morphology, and the highly complex word formation process of roots and patterns all contribute to making computational approaches to Arabic very challenging. As a result, a practical handwriting recognition system should support large vocabulary to provide a high coverage and use the context information for disambiguation. Several research efforts have been devoted for building online Arabic handwriting recognition systems. Most of these methods are either using their small private test data sets or a standard database with limited lexicon and coverage. A large scale handwriting database is an essential resource that can advance the research of online handwriting recognition. Currently, there is no online Arabic handwriting database with large lexicon, high coverage, large number of writers and training/testing data. In this paper, we introduce AltecOnDB, a large scale online Arabic handwriting database. AltecOnDB has 98% coverage of all the possible PAWS of the Arabic language. The collected samples are complete sentences that include digits and punctuation marks. The collected data is available on sentence, word and character levels, hence, high-level linguistic models can be used for performance improvements. Data is collected from more than 1000 writers with different backgrounds, genders and ages. Annotation and verification tools are developed to facilitate the annotation and verification phases. We built an elementary recognition system to test our database and show the existing difficulties when handling a large vocabulary and dealing with large amounts of styles variations in the collected data.

研究动机与目标

• 为解决缺乏大规模、公开可用、词汇覆盖广且书写风格多样的阿拉伯语在线手写数据库的问题。
• 通过提供大量真实世界的手写样本，支持鲁棒的、与书写者无关的识别系统开发。
• 通过提供句子级数据，支持高级语言模型（如n-gram语言模型）的应用，实现上下文消歧。
• 通过提供标准化基准数据库，促进不同系统在阿拉伯语手写识别任务中的公平比较。
• 通过支持大规模词汇量、上下文感知的识别，推动非约束阿拉伯语手写识别研究的发展。

提出的方法

• 数据库从多样化的阿拉伯语文本语料中构建，以确保广泛的词汇覆盖，包括98%的阿拉伯词语形（paws）。
• 1,000位年龄、性别和教育程度各不相同的书写者提供了样本，确保手写风格的高度多样性。
• 数据以三个层级提供：句子、单词和字符，支持多层级评估与建模。
• 第二组数据 AltecOnDB Set-H 为每位书写者提供了高容量数据，用于书写者自适应和书写者相关系统训练。
• 采用两阶段识别系统：第一阶段使用二元语法语言模型和单字素HMM，第二阶段使用700 MB新闻语料中的五元语法语言模型进行重打分。
• 语言模型使用SRI工具包以默认参数构建，通过使用词图（word lattices）探索多种假设，以提升识别准确率。

实验结果

研究问题

• RQ1 是否可以通过提供句子级数据的大规模、公开可用的阿拉伯语在线手写数据库，借助上下文建模提升识别性能？
• RQ2 在非约束阿拉伯语手写系统中，词汇量增加如何影响识别准确率？
• RQ3 当与HMM系统结合时，高级语言模型（如五元语法）在多大程度上能提升识别准确率？
• RQ4 是否可以利用像AltecOnDB Set-H这样的每位书写者高容量数据集，有效应用书写者自适应技术？
• RQ5 现有系统在标准化、大规模词汇量的阿拉伯语数据库（如AltecOnDB）上的表现如何？

主要发现

• 使用64,000个词的词典但无语言建模时，识别准确率仅为34.30%，凸显了在阿拉伯语中大规模词典带来的挑战。
• 采用结合五元语法语言模型的两阶段识别系统，使AltecOnDB Set-H上的准确率提升至51.65%，证明了语言上下文的重要价值。
• 句子级数据的使用使高级语言模型得以有效应用，与孤立单词识别相比，显著降低了错误率。
• 观察到词汇量增加导致性能下降，准确率从5,000词时的66.83%降至64,000词时的34.30%，表明需要更鲁棒的语言建模。
• 该数据库支持与书写者无关及书写者自适应系统开发，AltecOnDB Set-H可实现高精度个性化模型。
• AltecOnDB 提供了一个全面的阿拉伯语手写识别基准，解决了以往数据库的关键局限，如词典规模小、书写者数量有限以及缺乏句子级数据。