[논문 리뷰] Descriptive evaluation of students using fuzzy approximate reasoning

Mohsen Annabestani, Alireza Rowhanimanesh외 2명|arXiv (Cornell University)|2019. 05. 07.

Educational Technology and Assessment참고 문헌 29인용 수 5

한 줄 요약

이 논문은 이란의 초등교육에서 학생 평가를 위한 흐린 근사 추론 시스템을 제안하며, 고정된 네 가지 값으로 된 서술적 평가 방식을 연속적이고 무한값을 갖는 흐린 논리 모델로 대체한다. 이 시스템은 학년 전반에 걸쳐 정교한, 교사에게 우호적인 평가를 가능하게 하며, 이를 표준 네 가지 값 카테고리로 반올림하여 공정성과 주관성을 줄이고 스마트폰 앱을 통한 구현이 가능하게 한다.

ABSTRACT

In recent years, descriptive evaluation has been introduced as a new model for educational evaluation of Iranian students. The current descriptive evaluation method is based on four-valued logic. Assessing all students with only four values is led to a lack of relative justice and the creation of unrealistic equality. Also, the complexity of the evaluation process in the current method increases teacher errors likelihood. As a suitable solution, in this paper, a fuzzy descriptive evaluation system has been proposed. The proposed method is based on fuzzy logic, which is an infinite-valued logic and it can perform approximate reasoning on natural language propositions. By the proposed fuzzy system, student assessment is performed over the school year with infinite values instead of four values. But to eliminate the diversity of assigned values to students, at the end of the school year, the calculated values for each student will be rounded to the nearest value of the four standard values of the current descriptive evaluation system. It can be implemented easily in an appropriate smartphone app, which makes it much easier for the teachers to evaluate the evaluation process. In this paper, the evaluation process of the elementary third-grade mathematics course in Iran during the period from the beginning of the MEHR (The Seventh month of Iran) to the end of BAHMAN (The Eleventh Month of Iran) is examined by the proposed system. To evaluate the validity of this system, the proposed method has been simulated in MATLAB software.

연구 동기 및 목표

• 현재 이란의 네 가지 값으로 된 서술적 평가 체계의 한계를 해결하기 위해, 이는 인위적인 동등성을 부과하고 고정된 분류로 인해 교사의 실수가 증가하기 때문이다.
• 자연어 문장 제시를 사용한 근사 추론을 지원하는 더 구체적이고 현실적인 평가 방법을 개발하기 위해.
• 학년 전반에 걸쳐 연속적인 평가를 가능하게 하며, 연중 끝에서 표준 네 가지 값 카테고리로 매핑하기 전에 무한값 출력을 제공하기 위해.
• 교사 평가 작업을 단순화하고 인지 부담을 줄이는 실용적인 스마트폰 호환 시스템을 설계하기 위해.
• 실제 교실 데이터를 사용한 MATLAB 시뮬레이션을 통해 시스템의 타당성과 정확성을 검증하기 위해.

제안 방법

• 제안된 시스템은 네 가지 값 논리의 무한값 대체로 흐린 논리를 사용하여 점진적이고 맥락 민감한 학생 평가를 가능하게 한다.
• 자연어 기술자(예: '좋음', '매우 좋음')는 연속적 평가를 위한 흐린 소속 함수로 매핑된다.
• 흐린 근사 추론은 학년 전반에 걸쳐 다수 기준에 걸쳐 학생 성취도를 통합하는 데 적용된다.
• 시스템은 교사 입력과 언어 규칙에 기반해 각 학생의 연속적 흐린 점수를 계산한다.
• 년말에 각 연속적 흐린 점수는 네 가지 표준 서술적 값 중 가장 가까운 것으로 반올림된다(예: '만족', '좋음', '매우 좋음', '탁월').
• 시스템은 이란의 달력에서 미르부터 바르만까지의 세 번째 학년 수학 수업 데이터를 사용해 MATLAB에서 시뮬레이션되었다.

실험 결과

연구 질문

• RQ1 흐린 논리 기반 시스템이 인위적인 네 가지 값 체계에 비해 더 정교하고 공정한 학생 평가를 제공할 수 있는가?
• RQ2 자연어 문장 제시를 사용한 근사 추론은 학생 평가의 현실성과 정확성을 어떻게 향상시키는가?
• RQ3 제안된 시스템은 평가 과정에서 교사의 실수와 인지 부담을 어느 정도 줄이는가?
• RQ4 연속적 흐린 점수를 표준 네 가지 값 카테고리로 매핑하는 것이 효과적이고 일관된가?
• RQ5 이 시스템은 교실 사용을 위한 스마트폰 애플리케이션으로 실질적으로 구현될 수 있는가?

주요 결과

• 흐린 시스템은 학년 전반에 걸쳐 연속적이고 세밀한 평가를 가능하게 하여 학생들을 오직 네 가지 성과 카테고리로 인위적으로 뭉치는 것을 방지한다.
• MATLAB에서의 시뮬레이션은 시스템의 타당성과 안정성을 확인하였으며, 언어 입력을 처리하고 일관된 흐린 출력을 생성하는 데 성공하였다.
• 연속적 흐린 점수를 네 가지 표준 값으로 반올림하는 과정은 기존 평가 프레임워크의 무결성을 유지하면서도 공정성을 향상시켰다.
• 즉각적인 고위험 분류가 필요 없어지므로 교사 실수의 가능성은 크게 감소하였다.
• 제안된 방법은 모바일 환경에 매우 적합하여 교사가 일년 내내 평가를 쉽게 일관되게 입력할 수 있도록 한다.
• 이 접근법은 흐린 근사 추론이 이산적인 네 가지 값 논리보다 더 정밀하게 실제 교육 평가를 모델링할 수 있음을 보여준다.