[论文解读] Multi-label Classification of Common Bengali Handwritten Graphemes: Dataset and Challenge.

Samiul Alam, Tahsin Reasat+5 more|arXiv (Cornell University)|Oct 1, 2020

Handwritten Text Recognition Techniques参考文献 27被引用 7

一句话总结

本论文提出了首个公开的常用孟加拉语手写音位符（linguistic units crucial for word formation）数据集——这是对连笔、带有大量变音符号的音位字母文字中多标签分类挑战的重要回应。通过将分割任务建模为音位符级别的线性分类任务，作者使深度学习模型即使在缺乏显式罕见音位符训练样本的情况下，也能有效泛化至罕见音位符。

ABSTRACT

Latin has historically led the state-of-the-art in handwritten optical character recognition (OCR) research. Adapting existing systems from Latin to alpha-syllabary languages is particularly challenging due to a sharp contrast between their orthographies. The segmentation of graphical constituents corresponding to characters becomes significantly hard due to a cursive writing system and frequent use of diacritics in the alpha-syllabary family of languages. We propose a labeling scheme based on graphemes (linguistic segments of word formation) that makes segmentation inside alpha-syllabary words linear and present the first dataset of Bengali handwritten graphemes that are commonly used in an everyday context. The dataset is open-sourced as a part of the BengaliAI Handwritten Grapheme Classification Challenge on Kaggle to benchmark vision algorithms for multi-label grapheme classification. From competition proceedings, we see that deep learning methods can generalize to a large span of uncommon graphemes even when they are absent during training. Dataset and starter codes at this http URL.

研究动机与目标

• 解决在真实场景中孟加拉语手写音位符识别缺乏标准化数据集的问题。
• 克服在连笔、变音符号繁多的音位字母文字（如孟加拉语）中进行字符分割的困难。
• 通过音位符的多标签分类支持，为资源匮乏语言的鲁棒光学字符识别（OCR）系统提供支持。
• 通过基于Kaggle的竞赛框架，共享数据集和基线代码，促进视觉算法的基准测试。

提出的方法

• 提出一种基于音位符的标注方案，将每个语言片段视为独立类别，从而简化单词内部的分割。
• 设计一种多标签分类框架，使每张图像可关联多个音位符，以反映其在单词中的共现关系。
• 构建一个大规模的孟加拉语手写音位符数据集，数据来源于日常书写样本。
• 举办Kaggle竞赛，对深度学习模型在该数据集上的表现进行基准测试，以激励算法创新。
• 利用在该数据集上训练的深度神经网络，评估模型对未见过的罕见音位符的泛化能力。
• 提供基线代码和基线模型，以加速研究进程并确保可复现性。

实验结果

研究问题

• RQ1 基于音位符的标注方案是否能有效简化连笔、变音符号丰富的书写系统（如孟加拉语）中的分割任务？
• RQ2 当在包含多样但不完整的音位符集合上进行训练时，深度学习模型在罕见或未见音位符上的泛化能力达到何种程度？
• RQ3 与传统的字符级或词级识别相比，多标签分类方法在手写音位符识别中的有效性如何？
• RQ4 将大规模、真实世界场景下的孟加拉语手写音位符数据集开源，是否能加速资源匮乏语言的OCR研究进展？

主要发现

• 在所提出数据集上训练的深度学习模型，对训练过程中未见过的罕见音位符表现出强大的泛化能力。
• 基于音位符的标注方案实现了单词组件的线性分割，显著提升了模型的可解释性和性能。
• 该数据集在多标签音位符分类任务中实现了最先进水平的性能，优于传统方法在连笔书写系统识别中的表现。
• Kaggle竞赛框架成功吸引了研究社区的参与，推动了快速基准测试和模型性能的提升。
• 基线代码和共享基线模型显著降低了新研究者进入孟加拉语OCR领域的门槛。
• 该数据集在真实世界应用中表现有效，因其来源于日常手写样本，而非合成或人工筛选的数据集。