[论文解读] Bengali Handwritten Character Classification using Transfer Learning on Deep Convolutional Neural Network

Swagato Chatterjee, Rwik Kumar Dutta+3 more|arXiv (Cornell University)|Feb 25, 2019

Handwritten Text Recognition Techniques被引用 11

一句话总结

本论文提出一种基于迁移学习的方法，采用微调后的ResNet50在BanglaLekha-Isolated数据集上进行孟加拉文手写字符识别，仅用47个周期即达到96.12%的准确率。通过采用改进的One Cycle策略并优化输入图像尺寸，该方法在84类识别任务中表现出优于现有非集成技术的性能，且收敛速度更快。

ABSTRACT

In this paper, we propose a solution which uses state-of-the-art techniques in Deep Learning to tackle the problem of Bengali Handwritten Character Recognition ( HCR ). Our method uses lesser iterations to train than most other comparable methods. We employ Transfer Learning on ResNet 50, a state-of-the-art deep Convolutional Neural Network Model, pretrained on ImageNet dataset. We also use other techniques like a modified version of One Cycle Policy, varying the input image sizes etc. to ensure that our training occurs fast. We use the BanglaLekha-Isolated Dataset for evaluation of our technique which consists of 84 classes (50 Basic, 10 Numerals and 24 Compound Characters). We are able to achieve 96.12% accuracy in just 47 epochs on BanglaLekha-Isolated dataset. When comparing our method with that of other researchers, considering number of classes and without using Ensemble Learning, the proposed solution achieves state of the art result for Handwritten Bengali Character Recognition. Code and weight files are available at https://github.com/swagato-c/bangla-hwcr-present.

研究动机与目标

• 解决使用深度学习进行孟加拉文手写字符识别（HCR）时准确率低且训练成本高的挑战。
• 提升在包含基础字符、数字和复合字符的复杂84类数据集上的识别性能。
• 通过高效的训练策略减少训练迭代次数，同时保持高准确率。
• 在不使用集成学习技术的前提下，建立孟加拉文HCR的新最先进结果。

提出的方法

• 通过在ImageNet数据集上预训练的ResNet50模型进行微调，将迁移学习应用于孟加拉文HCR任务。
• 采用改进的One Cycle策略优化学习率调度，加速收敛并提升模型泛化能力。
• 在训练过程中改变输入图像尺寸，以增强模型的鲁棒性和性能。
• 模型在BanglaLekha-Isolated数据集上进行训练，该数据集包含50个基础字符、10个数字和24个复合字符。
• 架构与训练流程的设计旨在最小化训练周期数，同时最大化准确率。

实验结果

研究问题

• RQ1 使用ResNet50进行迁移学习是否能在更少训练周期内实现孟加拉文手写字符识别的高准确率？
• RQ2 改进的One Cycle策略对HCR任务中的收敛速度和模型准确率有何影响？
• RQ3 改变输入图像尺寸对微调后的ResNet50模型在孟加拉文HCR任务中的性能有何影响？
• RQ4 所提出的方法是否在BanglaLekha-Isolated数据集上实现了无需使用集成学习的最先进性能？

主要发现

• 所提方法在包含84类孟加拉文手写字符的BanglaLekha-Isolated数据集上实现了96.12%的top-1准确率。
• 该模型仅用47个训练周期即达到此准确率，与其它最先进方法相比显著减少了训练时间。
• 采用迁移学习结合ResNet50与改进的One Cycle策略，可在不损失准确率的前提下实现更快收敛。
• 该方法优于现有非集成方法，在相同基准上建立了孟加拉文HCR的新最先进结果。
• 由于在训练过程中对输入尺寸进行了优化调整，模型在各类字符（包括基础字符、数字和复合字符）上均表现出强鲁棒性。