[논문 리뷰] Modeling of Item-Difficulty for Ontology-based MCQs

E Vinu, Tahani Alsubait외 1명|arXiv (Cornell University)|2016. 07. 04.

Semantic Web and Ontologies참고 문헌 14인용 수 6

한 줄 요약

이 논문은 도메인 온톨로지에서 자동으로 생성된 다중선택형 문제(MCQ)의 곤란도를 온톨로지 기반 모델을 통해 예측하는 방법을 제안한다. 엔티티 인기, 답변 공간 크기, 술어의 깊이 등의 요소를 통합하여 스템과 선택지 집합의 곤란도 점수를 추정하고, 이를 복합 곤란도 점수로 조합한다. 실제 학습자 수준이 다양한 그룹에서의 경험적 검증 결과, 항목 반응 이론(Item Response Theory)을 활용한 분석에서 예측된 곤란도와 실제 곤란도 수준 간 상관관계가 매우 높았다(r ≈ 0.92).

ABSTRACT

Multiple choice questions (MCQs) that can be generated from a domain ontology can significantly reduce human effort & time required for authoring & administering assessments in an e-Learning environment. Even though here are various methods for generating MCQs from ontologies, methods for determining the difficulty-levels of such MCQs are less explored. In this paper, we study various aspects and factors that are involved in determining the difficulty-score of an MCQ, and propose an ontology-based model for the prediction. This model characterizes the difficulty values associated with the stem and choice set of the MCQs, and describes a measure which combines both the scores. Further more, the notion of assigning difficultly-scores based on the skill level of the test taker is utilized for predicating difficulty-score of a stem. We studied the effectiveness of the predicted difficulty-scores with the help of a psychometric model from the Item Response Theory, by involving real-students and domain experts. Our results show that, the predicated difficulty-levels of the MCQs are having high correlation with their actual difficulty-levels.

연구 동기 및 목표

• e-러닝 시스템에서의 교육적 활용도를 제한하는 바탕이 되는 온톨로지 기반 MCQ의 곤란도 수준을 자동으로 평가하는 방법의 부족을 해결하기 위해.
• 온톨로지의 구조적 및 의미적 특징을 기반으로 항목 곤란도를 정량화하는 예측 모델을 개발하기 위해.
• 학습자 전문 수준을 곤란도 평가에 통합하여 적응형 평가를 가능하게 하기 위해.
• 심리측정 모델을 활용하여 예측된 곤란도 점수를 실제 성과와 비교 검증하기 위해.
• 형식적 온톨로지에서 교육적으로 효과적인 MCQ를 신뢰할 수 있고 자동으로 생성할 수 있는 방법을 제공하기 위해.

제안 방법

• 모델은 질문 스템에 사용된 술어의 계층적 깊이와 온톨로지 엔티티의 인기도를 기반으로 스템 곤란도 점수를 계산한다.
• 선택지 집합의 곤란도 점수는 특정 클래스에 속하는 인스턴스 수(답변 공간 크기)를 기반으로 계산한다.
• 스템 곤란도 점수와 선택지 집합 곤란도 점수를 가중치가 적용된 집계 함수를 사용하여 복합 곤란도 점수를 유도한다.
• 학습자 전문 수준을 고려하여 초보자, 중급자, 전문가의 기대 성과에 따라 곤란도 추정치를 조정한다.
• 예측된 점수의 타당성은 항목 반응 이론(Item Response Theory, IRT)을 활용하여 평가되며, 세 가지 학습자 전문 수준 그룹에서 정답 응답 확률을 분석함으로써 검증된다.
• 경험적 검증은 생성된 MCQ를 실제 학생들과 전문가에게 제공하고, 예측된 곤란도와 관측된 응답 확률 간의 상관관계를 분석함으로써 수행된다.

실험 결과

연구 질문

• RQ1 온톨로지의 구조적 및 의미적 특징을 기반으로 온톨로지 기반 MCQ의 곤란도를 어떻게 예측할 수 있는가?
• RQ2 제안된 모델이 실제 학습자 성과로 측정된 곤란도와 어느 정도 상관관계를 가지는가?
• RQ3 학습자 전문 수준은 질문의 인지 곤란도에 어떤 영향을 미치며, 이를 효과적으로 모델링할 수 있는가?
• RQ4 모델은 충분한 정확도로 곤란도가 높은, 중간 수준의, 낮은 수준의 항목을 구분할 수 있는가?
• RQ5 답변 공간 크기나 엔티티 인기도와 같은 요소 중에서 온톨로지 기반 MCQ의 항목 곤란도에 가장 크게 영향을 주는 요소는 무엇인가?

주요 결과

• 24개의 MCQ에 대해 항목 반응 이론 분석을 통해 유도된 실제 곤란도 수준과 예측된 곤란도 점수 간 상관관계가 매우 높았다(r ≈ 0.92).
• 낮은 전문 수준의 학습자가 정답률이 매우 낮은 경우(예: 저수준 학습자에서 P < 0.1)에 고곤란도 항목을 정확히 예측하였다.
• 매우 큰 답변 공간을 가진 항목은 예측상 쉬운 문제로 간주되었으며, 이는 전문가들 사이에서 높은 정답률을 보이는 경험적 결과와 일치하였다.
• 높은 전문 수준의 학습자가 90퍼센트 이상의 경우에 정답을 맞춘 경우, 모델은 중간 및 저곤란도 항목을 정확히 식별하였다.
• 모델의 예측은 다양한 학습자 그룹에서 안정적이었으며, 일관된 αi 값이 유지되어 곤란도 평가의 안정성을 보였다.
• 현재 점수 함수의 한계가 드러났으며, 특히 답변 공간이 매우 작거나 매우 클 경우에 문제가 발생하여 향후 보완이 필요함을 시사하였다.