[论文解读] BAGS: An automatic homework grading system using the pictures taken by smart phones

Xiaoshuo Li, Tiezhu Yue+3 more|arXiv (Cornell University)|Jun 10, 2019

Advanced Image and Video Retrieval Techniques参考文献 22被引用 6

一句话总结

BAGS 是一种自动作业评分系统，利用智能手机拍摄的图像，通过两个改进的 DeepLabv3+ 语义分割网络检测并识别手写答案的答题区域下划线（AAU）。在 6,068 个答题区域上，该系统实现了 91% 的定位与识别准确率，优于传统线检测方法（如 Hough 变换和 LSD），尤其在复杂、扭曲的背景中表现更优。

ABSTRACT

Homework grading is critical to evaluate teaching quality and effect. However, it is usually time-consuming to grade the homework manually. In automatic homework grading scenario, many optical mark reader (OMR)-based solutions which require specific equipments have been proposed. Although many of them can achieve relatively high accuracy, they are less convenient for users. In contrast, with the popularity of smart phones, the automatic grading system which depends on the image photographed by phones becomes more available. In practice, due to different photographing angles or uneven papers, images may be distorted. Moreover, most of images are photographed under complex backgrounds, making answer areas detection more difficult. To solve these problems, we propose BAGS, an automatic homework grading system which can effectively locate and recognize handwritten answers. In BAGS, all the answers would be written above the answer area underlines (AAU), and we use two segmentation networks based on DeepLabv3+ to locate the answer areas. Then, we use the characters recognition part to recognize students' answers. Finally, the grading part is designed for the comparison between the recognized answers and the standard ones. In our test, BAGS correctly locates and recognizes the handwritten answers in 91% of total answer areas.

研究动机与目标

• 开发一种便捷、实时的自动作业评分系统，仅使用智能手机拍摄的图像，无需专用扫描设备。
• 解决在智能手机拍摄图像中因图像失真、复杂背景以及学生绘制的辅助线条导致的答题区域检测挑战。
• 提升在真实世界、非受限成像条件下手写答案检测与识别的准确性。
• 通过可访问、移动端友好的评分流程，为学生和教师提供即时反馈。

提出的方法

• 使用两个改进的 DeepLabv3+ 语义分割网络，分别检测答题区域下划线（AAU）和矩形边框，通过增强的解码器设计，在输出步长为 2 的情况下恢复细节。
• AAU 分割模型经过训练，可在存在失真、背景纹理和用户绘制线条的图像中定位细小的水平线条，表现优于传统方法。
• 系统处理流程包括：首先检测 AAU，然后隔离答题区域，最后使用专用识别模块进行手写字符识别。
• 评分引擎通过 Levenshtein 距离将识别出的答案与标准答案进行比较，准确率计算公式为 1 - (Levenshtein 距离 / 标签长度)。
• 通过分离矩形边框和 AAU 的分割处理，提升整体准确率，尤其在答题卡在图像中占比较小时效果更明显。
• 公开发布了一个数据集，以支持未来自动评分研究，数据集托管于 https://github.com/boxfish-ai/BAGS。

实验结果

研究问题

• RQ1 基于深度学习的语义分割方法是否能在智能手机拍摄的作业图像中，优于传统线检测方法（如 Hough 变换和 LSD）检测答题区域？
• RQ2 在真实成像条件下（如图像失真和复杂背景），改进的 DeepLabv3+ 模型在分割细小水平答题区域下划线（AAU）方面的表现如何？
• RQ3 分离矩形边框与 AAU 分割处理对整体评分准确率有何影响？
• RQ4 在真实世界环境中，图像质量、手写清晰度以及用户绘制的线条在多大程度上影响自动作业评分系统的性能？
• RQ5 仅使用智能手机拍摄的图像，能否在不依赖专用硬件的情况下，实现高准确率的答题区域定位与手写文本识别？

主要发现

• BAGS 在 383 张真实世界智能手机拍摄图像组成的 6,068 个答题区域中，成功定位并识别了 91% 的手写答案。
• AAU 分割模型的召回率为 76.3%，精确率为 70.5%，显著优于 Hough 变换（最高 40.9% 召回率）和 LSD（最高 66.5% 召回率）在相同条件下的表现。
• 传统线检测方法（如 Hough 变换和 LSD）对背景纹理和用户绘制线条高度敏感，而 BAGS 在此类场景下仍保持鲁棒性。
• 在 274 个失败案例中，52 例源于分割错误，68 例源于识别错误，154 例源于图像质量低或手写模糊等外部因素。
• 系统在真实世界条件下表现稳定可靠，大多数失败原因归因于图像质量或手写清晰度，而非核心算法缺陷。
• 在 https://github.com/boxfish-ai/BAGS 公开发布的数据集支持了结果的可复现性及未来自动评分系统的研究。