[논문 리뷰] BAGS: An automatic homework grading system using the pictures taken by smart phones

Xiaoshuo Li, Tiezhu Yue외 3명|arXiv (Cornell University)|2019. 06. 10.

Advanced Image and Video Retrieval Techniques참고 문헌 22인용 수 6

한 줄 요약

BAGS는 스마트폰으로 촬영한 이미지를 사용하여 수작업으로 쓴 답안을 감지하고 인식하는 자동 과제 채점 시스템이다. 이 시스템은 답안 영역 하이라이팅을 감지하기 위해 두 개의 수정된 DeepLabv3+ 세분화 네트워크를 사용하며, 복잡하고 왜곡된 배경에서도 91%의 정확도를 달성한다. 기존의 선 감지 기법인 Hough 변환과 LSD보다 뛰어난 성능을 보인다.

ABSTRACT

Homework grading is critical to evaluate teaching quality and effect. However, it is usually time-consuming to grade the homework manually. In automatic homework grading scenario, many optical mark reader (OMR)-based solutions which require specific equipments have been proposed. Although many of them can achieve relatively high accuracy, they are less convenient for users. In contrast, with the popularity of smart phones, the automatic grading system which depends on the image photographed by phones becomes more available. In practice, due to different photographing angles or uneven papers, images may be distorted. Moreover, most of images are photographed under complex backgrounds, making answer areas detection more difficult. To solve these problems, we propose BAGS, an automatic homework grading system which can effectively locate and recognize handwritten answers. In BAGS, all the answers would be written above the answer area underlines (AAU), and we use two segmentation networks based on DeepLabv3+ to locate the answer areas. Then, we use the characters recognition part to recognize students' answers. Finally, the grading part is designed for the comparison between the recognized answers and the standard ones. In our test, BAGS correctly locates and recognizes the handwritten answers in 91% of total answer areas.

연구 동기 및 목표

• 스마트폰으로 촬영한 이미지만을 사용하여 편리하고 실시간으로 작동하는 자동 과제 채점 시스템을 개발하는 것.
• 스마트폰으로 촬영한 이미지에서 발생하는 왜곡, 복잡한 배경, 학생이 그린 보조 선으로 인한 답안 영역 감지 과제를 해결하는 것.
• 실생활의 제약 없는 환경에서 수작업 답안 감지 및 인식의 정확도를 향상시키는 것.
• 접근성이 높고 모바일 친화적인 채점 파이프라인을 통해 학생과 교사에게 즉각적인 피드백을 제공하는 것.

제안 방법

• 답안 영역 하이라이팅(AAU)과 직사각형 테두리선을 별도로 감지하기 위해 두 개의 수정된 DeepLabv3+ 세분화 네트워크를 사용하며, 출력 스트라이드 2에서 세부 정보 복구를 위해 개선된 디코더 설계를 적용한다.
• AAU 세분화 모델은 왜곡, 배경 무늬, 사용자가 그린 선이 있는 이미지에서 얇고 수평적인 선을 감지하도록 훈련되어 기존의 전통적 방법보다 뛰어난 성능을 보인다.
• 시스템은 먼저 AAU를 감지하고, 그 다음 답안 영역을 분리한 후 전용 인식 모듈을 사용해 수작업 문자 인식을 수행한다.
• 채점 엔진은 Levenshtein 거리 기반으로 인식된 답안을 기준 답안과 비교하며, 정확도는 1 - (Levenshtein 거리 / 레이블 길이)로 계산된다.
• 직사각형 테두리선과 AAU 세분화를 분리함으로써, 특히 답안지가 이미지 영역에서 작을 경우 정확도를 향상시킨다.
• 미래 연구를 지원하기 위해 공개된 데이터셋을 https://github.com/boxfish-ai/BAGS에 배포하였다.

실험 결과

연구 질문

• RQ1 딥 러닝 기반 세분화 접근 방식이 스마트폰으로 촬영한 과제 이미지에서 답안 영역을 감지할 때 기존의 선 감지 기법인 Hough 변환과 LSD보다 우수한 성능을 보일 수 있는가?
• RQ2 실생활 환경에서 왜곡과 복잡한 배경이 존재하는 조건에서 수정된 DeepLabv3+ 모델이 얇고 수평적인 답안 영역 하이라이팅(AAU)을 세분화하는 데 얼마나 효과적인가?
• RQ3 직사각형 테두리선과 AAU의 세분화를 분리함으로써 전체 채점 정확도에 어떤 영향을 미치는가?
• RQ4 이미지 품질, 필기 명확도, 사용자가 그린 선 등 요소들이 실생활 환경에서 자동 과제 채점 시스템의 성능에 어느 정도 영향을 미치는가?
• RQ5 스마트폰으로 촬영한 이미지만을 사용하는 시스템이 전용 하드웨어 없이도 답안 영역 위치 특정과 수작업 텍스트 인식에서 높은 정확도를 달성할 수 있는가?

주요 결과

• BAGS는 383장의 스마트폰으로 촬영한 이미지로 구성된 실생활 데이터셋에서 테스트한 총 6,068개의 답안 영역 중 91%에서 수작업 답안을 성공적으로 감지하고 인식하였다.
• AAU 세분화 모델은 재현율 76.3%, 정밀도 70.5%를 기록했으며, 동일 조건에서 Hough 변환(최대 재현율 40.9%)과 LSD(최대 재현율 66.5%)보다 뚜렷이 뛰어난 성능을 보였다.
• 기존의 선 감지 기법인 Hough 변환과 LSD는 배경 무늬와 사용자가 그린 선에 매우 민감했지만, BAGS는 이러한 상황에서도 뛰어난 내성성을 유지했다.
• 실패한 274건 중 52건은 세분화 오류, 68건은 인식 오류, 154건은 이미지 품질 저하 또는 모호한 필기로 인한 것이었다.
• 시스템의 성능은 실생활 조건에서 안정적이고 신뢰할 수 있었으며, 대부분의 실패 원인은 핵심 알고리즘 결함이기보다는 이미지 품질이나 필기 명확도에 기인했다.
• https://github.com/boxfish-ai/BAGS에 공개된 데이터셋은 재현성과 향후 자동 채점 시스템 연구를 지원한다.