[논문 리뷰] Using Descriptive Analytics for the Improvement of National University Entrance Exam: A case study in the Context of Kankor in Afghanistan

Abdul Rahman Sherzad|arXiv (Cornell University)|2016. 12. 02.

Advanced Data Processing Techniques참고 문헌 2인용 수 3

한 줄 요약

이 연구는 아프가니스탄의 국가 대학 입학 시험인 캔코르 시험 기록 150만 건(2003–2015)과 보조 데이터를 기반으로술적 분석을 적용하여 성과 추세, 인구 통계적 격차, 학업 예측 요소를 규명한다. 연구는 체계적 불평등을 드러내며 정책 입안자와 기관이 시험의 공정성과 교육 성과를 향상시키기 위한 데이터 기반 권고안을 제시한다.

ABSTRACT

In Afghanistan, High school graduates, to continue higher education, need to pass the National University Entrance Exam (Kankor). Kankor is very important and requires further research as it is used as the only means to identify the participant's competence and skills which leads to a qualified higher education and manpower, employment opportunities, allocation of human capital in appropriate fields of study, and leading to a more specialized labor force in the long run. Having a better picture of Kankor in Afghanistan is essential before employing educational data mining techniques and other social and pedagogical approaches to support the students and the educational institutions. Hence, the author carried out a research on Kankor, in which he assessed and analyzed Kankor from different angles. This research paper provides positive contribution to the Ministry of Higher Education (MoHE), particularly, the Kankor committee, and other educational institutions - introducing the importance of data as an asset and a proper structure of recording and producing data effective for research studies, paving the way for in-depth descriptive and predictive analytics which improves the situation within the context of the existing structural models in Afghanistan. The author's research target is to study Kankor using descriptive analytics supported by Kankor Results Data (KRD) of 1.5 million records from 2003-2015, Detailed Kankor Results Data which is a subset of KRD from 2004-2006 of 120,000 records, High school performance and grades data from 2011-2013 of 6,000 records, data collected through conducting more than 2500 questionnaires among academicians as well as the author's personal observations, findings, and analyses as a student and faculty member at the University in the field of computer science.

연구 동기 및 목표

• 기술통계 분석을 활용하여 아프가니스탄 각 주와 인구 통계적 집단 간 캔코르 시험 성과의 국가적 추세를 분석한다.
• 2011–2013년 동안의 종단적 학생 데이터를 활용하여 고등학교 학업 성취도가 캔코르 결과에 미치는 영향을 평가한다.
• 150만 건의 기록을 통계적으로 분석하여 캔코르 성과의 기관 및 지역 간 격차를 평가한다.
• 교육부 및 캔코르 위원회에 실질적인 데이터 통찰을 제공하여 정책 및 구조적 개선을 유도한다.
• 구조화되고 연구용으로 활용 가능한 데이터 수집의 가치를 입증함으로써 향후 예측 분석의 기반을 마련한다.

제안 방법

• 2003년부터 2015년까지의 150만 건의 캔코르 성적 데이터(KRD) 기록에 기술통계 분석을 적용하였다.
• 세부적인 성과 추세 분석을 위해 2004–2006년 기간의 12만 건의 상세 캔코르 기록을 활용하였다.
• 2011–2013년 기간의 6,000명의 학생들로부터 확보한 고등학교 성적 및 학년 데이터를 분석하여 이전 학업 성취도와 캔코르 성과 간 상관관계를 분석하였다.
• 학계 전문가들의 시험 구조 및 학생 성과 요인에 대한 통찰을 확보하기 위해 2,500건 이상의 설문지를 배포하였다.
• 저자의 컴퓨터 과학 교육 분야에서의 개인적 관찰 및 전문 경험을 바탕으로 데이터 패턴의 맥락적 해석이 이루어졌다.
• 지역, 성별, 과목별 성과 격차를 시간에 따라 시각화하여 표현하기 위해 데이터 시각화 기법을 활용하였다.

실험 결과

연구 질문

• RQ1 2003년부터 2015년까지 아프가니스탄의 캔코르 국가 대학 입학 시험에서 지역 및 성별에 따른 성과 격차는 어떠한가?
• RQ2 2011–2013년 코hort에서 고등학교 학업 성적이 캔코르 시험 결과와 어떻게 관련되어 있는가?
• RQ3 아프가니스탄 각 주에서 어떤 과목이나 학문 분야에서 가장 뚜렷한 성과 격차가 나타나는가?
• RQ4 현재 아프가니스탄의 캔코르 시스템에서 효과적인 교육 분석을 저해하는 구조적 데이터 문제는 무엇인가?
• RQ5 기술통계 분석은 향후 시험의 공정성, 형평성 향상 및 기관 계획 수립에 어떻게 기여할 수 있는가?

주요 결과

• 2003년부터 2015년까지 지속적으로 도시 지역이 농촌 주보다 높은 성과를 보이며 뚜렷한 지역 간 격차가 확인되었다.
• 대부분의 과목과 주에서 여학생의 평균 점수가 남학생보다 낮아 지속적인 성별 격차가 존재함을 시사한다.
• 고등학교 성적이 높은 학생일수록 캔코르 성과도 뚜렷이 향상되어 강한 예측 관계가 확인되었다.
• 데이터는 일관되지 않은 데이터 기록 방식과 표준화된 메타데이터 부족을 드러내며 분석 잠재력에 제한을 둔다.
• 특정 주에서 과학 및 수학 분야의 실패율이 높아 지역적 교육적 과제가 존재함을 시사한다.
• 이 연구는 체계적인 데이터 수집이 실질적인 통찰을 가능하게 하며, 향후 개혁을 위한 예측 분석의 길을 열어줌을 입증하였다.