[논문 리뷰] An Automated System for Essay Scoring of Online Exams in Arabic based on Stemming Techniques and Levenshtein Edit Operations

Emad Fawzi Al-shalabi|arXiv (Cornell University)|2016. 11. 08.

Intelligent Tutoring Systems and Adaptive Learning인용 수 5

한 줄 요약

이 논문은 경량 및 중량 스탠딩 기법을 결합하고 레벤슈타인 편집 거리(Levenshtein edit distance)를 사용하여 텍스트 유사도를 측정함으로써 아랍어 온라인 시험을 위한 자동 에세이 채점 시스템을 제안한다. 이 시스템은 학생의 응답을 기준 답안과 정렬함으로써 효율적이고 확장 가능한 자동 채점이 가능하게 하여 실제 온라인 시험 환경에서 뛰어난 성능을 보여준다.

ABSTRACT

In this article, an automated system is proposed for essay scoring in Arabic language for online exams based on stemming techniques and Levenshtein edit operations. An online exam has been developed on the proposed mechanisms, exploiting the capabilities of light and heavy stemming. The implemented online grading system has shown to be an efficient tool for automated scoring of essay questions.

연구 동기 및 목표

• 아랍어 언어 온라인 시험을 위한 확장 가능하고 자동화된 에세이 채점 도구의 부족을 해결하기 위해.
• 아랍어 텍스트 정규화를 위해 경량 및 중량 스탠딩 기법을 모두 활용하여 채점 정확도를 향상시키기 위해.
• 학생의 응답과 기준 답안 간의 유사도를 측정하기 위한 지표로 레벤슈타인 편집 거리를 통합하기 위해.
• 실제 시험 환경에서 기능적인 온라인 채점 시스템을 개발하고 평가하기 위해.
• 아랍어 교육 환경에서 자동 채점의 실현 가능성과 효과성을 입증하기 위해.

제안 방법

• 텍스트 매칭의 재현율을 향상시키기 위해 시스템이 경량 스탠딩을 적용하여 어형을 그 뿌리 형태로 줄인다.
• 정밀도를 향상시키기 위해 중량 스탠딩을 사용하여 아랍어 단어를 핵심 어휘 루트로 추가로 정규화한다.
• 학생의 응답과 기준 답안 간의 레벤슈타인 편집 거리를 계산하여 텍스트 유사도를 정량화한다.
• 최종 에세이 점수를 산출하기 위해 스탠딩과 편집 거리 점수를 가중치 모델을 사용해 통합한다.
• 채점 엔진을 통합하고 실시간 자동 채점을 지원하기 위해 온라인 시험 플랫폼을 구현한다.
• 실제 온라인 시험에서의 학생 응답을 사용하여 시스템을 평가하고, 인간이 채점한 기준과 비교하여 성능을 측정한다.

실험 결과

연구 질문

• RQ1 경량 및 중량 스탠딩의 조합이 에세이 채점에 적합한 아랍어 텍스트 정규화에 얼마나 효과적인가?
• RQ2 레벤슈타인 편집 거리가 아랍어 자동 에세이 채점의 정확도를 얼마나 향상시키는가?
• RQ3 스탠딩과 편집 연산을 통합한 시스템이 인간 채점자와 비교해 신뢰성 있고 일관성 있는 점수를 산출할 수 있는가?
• RQ4 실제 온라인 시험 환경에서 제안된 시스템의 확장성과 효율성은 어떠한가?
• RQ5 두 가지 스탠딩 유형을 사용함으로써 자동 채점의 전체 성능에 어떤 영향을 미치는가?

주요 결과

• 경량 및 중량 스탠딩을 모두 활용함으로써 시스템은 아랍어 텍스트의 어휘 다양성을 줄이며 높은 일관성 있는 채점 성능을 달성했다.
• 레벤슈타인 편집 거리는 학생의 응답과 기준 답안 간의 의미적 및 구조적 유사도를 효과적으로 포착했다.
• 스탠딩과 편집 연산의 통합은 실시간 온라인 시험 환경에 적합한 강력한 채점 모델을 생성했다.
• 구현된 온라인 채점 시스템은 다수의 학생 에세이를 처리하는 데 있어 효율성과 확장성을 입증했다.
• 시스템은 인간이 채점한 점수와 강한 일치를 보이며 자동 평가의 신뢰성을 입증했다.
• 평가 결과, 제안된 방법이 자동 아랍어 에세이 채점에 실현 가능하고 효과적인 솔루션임을 확인했다.