[論文レビュー] BAGS: An automatic homework grading system using the pictures taken by smart phones

Xiaoshuo Li, Tiezhu Yue+3 more|arXiv (Cornell University)|Jun 10, 2019

Advanced Image and Video Retrieval Techniques参考文献 22被引用数 6

ひとこと要約

BAGSは、スマートフォンで撮影した画像を用いて、2つの変更を加えたDeepLabv3+の意味的セグメンテーションネットワークを活用し、解答領域の下線（AAU）を検出・認識することで、自動課題採点を行うシステムである。6,068の解答領域において91%の正確性を達成し、複雑で歪みのある背景においても、Hough変換やLSDといった従来の線分検出法を上回る性能を発揮する。

ABSTRACT

Homework grading is critical to evaluate teaching quality and effect. However, it is usually time-consuming to grade the homework manually. In automatic homework grading scenario, many optical mark reader (OMR)-based solutions which require specific equipments have been proposed. Although many of them can achieve relatively high accuracy, they are less convenient for users. In contrast, with the popularity of smart phones, the automatic grading system which depends on the image photographed by phones becomes more available. In practice, due to different photographing angles or uneven papers, images may be distorted. Moreover, most of images are photographed under complex backgrounds, making answer areas detection more difficult. To solve these problems, we propose BAGS, an automatic homework grading system which can effectively locate and recognize handwritten answers. In BAGS, all the answers would be written above the answer area underlines (AAU), and we use two segmentation networks based on DeepLabv3+ to locate the answer areas. Then, we use the characters recognition part to recognize students' answers. Finally, the grading part is designed for the comparison between the recognized answers and the standard ones. In our test, BAGS correctly locates and recognizes the handwritten answers in 91% of total answer areas.

研究の動機と目的

• 専用のスキャナーや機器を必要とせず、スマートフォンで撮影した画像のみを用いて、利便性が高くリアルタイムな自動課題採点システムを開発すること。
• スマートフォンで撮影された画像における歪み、複雑な背景、学生が描いた補助線の影響によって生じる解答領域検出の課題に対処すること。
• 現実世界の制約のある撮影条件下でも、手書きの解答検出と認識の正確性を向上させること。
• スマートフォン対応の採点パイプラインにより、学生および教員に即時のフィードバックを提供すること。

提案手法

• 解答領域の下線（AAU）と長方形の境界線を別々に検出するために、出力ストライド2で細かいディテールを回復できるように改良されたデコーダーを備えた2つの変更版DeepLabv3+意味的セグメンテーションネットワークを用いる。
• AAUセグメンテーションモデルは、歪み、背景のテクスチャ、ユーザーが描いた線分が存在する画像においても、薄く水平な線分を検出できるように訓練され、従来手法を上回る性能を発揮する。
• システムはまずAAUを検出し、次に解答領域を抽出し、専用の認識モジュールを用いて手書き文字認識を実行する。
• 採点エンジンは、認識された解答と基準解答との間でLevenshtein距離を計算し、正確性を1 - (Levenshtein距離 / ラベル長)として算出する。
• 長方形の境界線とAAUのセグメンテーションを分離することで、特に解答用紙が画像内で小さな領域を占める場合の正確性が向上する。
• 今後の研究を支援するため、公開データセットをhttps://github.com/boxfish-ai/BAGSにリリースした。

実験結果

リサーチクエスチョン

• RQ1 深層学習に基づく意味的セグメンテーション手法は、Hough変換やLSDといった従来の線分検出法を上回り、スマートフォンで撮影された課題用紙の解答領域を検出できるか？
• RQ2 実世界の撮影条件（歪み、複雑な背景など）下で、変更を加えたDeepLabv3+モデルは、薄く水平な解答領域の下線（AAU）を効果的にセグメンテーションできるか？
• RQ3 長方形の境界線とAAUのセグメンテーションを分離することで、全体の採点正確性にどのような影響を与えるか？
• RQ4 画像品質、文字のなぞり具合、ユーザーが描いた線分が、実世界の環境下での自動課題採点システムの性能にどの程度影響を与えるか？
• RQ5 専用のハードウェアを用いずに、スマートフォンで撮影した画像のみを用いて、解答領域の局所化と手書き文字認識の両方で高い正確性を達成できるか？

主な発見

• BAGSは、383枚のスマートフォンで撮影された画像からなる実世界のデータセットを用いて、全6,068の解答領域のうち91%で手書きの解答を正しく検出・認識した。
• AAUセグメンテーションモデルは、リ콜76.3%、精度70.5%を達成し、同じ条件下でHough変換（最大40.9%リ콜）やLSD（最大66.5%リコール）を顕著に上回った。
• Hough変換やLSDといった従来手法は、背景のテクスチャやユーザーが描いた線分に対して非常に敏感であったが、BAGSはこうした状況でも安定した性能を示した。
• 274件の失敗事例のうち、52件がセグメンテーションの誤り、68件が認識の誤り、154件が画像品質の低さや不明瞭な文字のための要因によるものであった。
• システムの性能は実世界の環境下でも安定的かつ信頼性が高く、失敗の多くはコアアルゴリズムの欠陥ではなく、画像品質や文字のなぞり具合に起因していた。
• https://github.com/boxfish-ai/BAGSにリリースされた公開データセットにより、再現性が確保され、今後の自動採点システム分野の研究が促進される。