[논문 리뷰] Outcome-Based Quality Assessment Framework for Higher Education

Samiya Khan, Mansaf Alam|arXiv (Cornell University)|2017. 03. 15.

Evaluation and Performance Assessment참고 문헌 7인용 수 4

한 줄 요약

이 논문은 졸업 후 학생의 진로 및 진학과 같은 결과를 기반으로 한 높은 교육 기관의 품질 평가 프레임워크를 제안한다. 클라우드 플랫폼에서의 빅데이터 분석을 위해 BigQuery와 R을 사용하여, 장기적인 학생 성공을 추적하는 것은 기관의 품질을 강력하고 데이터 기반으로 평가하는 데 유용한 지표를 제공함으로써 기존 평가 모델의 핵심적 격차를 메운다.

ABSTRACT

This research paper proposes a quality framework for higher education that evaluates the performance of institutions on the basis of performance of outgoing students. Literature was surveyed to evaluate existing quality frameworks and develop a framework that provides insights on an unexplored dimension of quality. In order to implement and test the framework, cloud-based big data technology, BigQuery, was used with R to perform analytics. It was found that how the students fair after passing out of a course is the outcome of educational process. This aspect can also be used as a quality metric for performance evaluation and management of educational organizations. However, it has not been taken into account in existing research. The lack of an integrated data collection system and rich datasets for educational intelligence applications, are some of the limitations that plague this area of research. Educational organizations are responsible for the performance of their students even after they complete their course. The inclusion of this dimension to quality assessment shall allow evaluation of educational institutions on these grounds. Assurance of this quality dimension shall boost enrolments in postgraduate and research degrees. Moreover, educational institutions will be motivated to groom students for placements or higher studies.

연구 동기 및 목표

• 졸업 후 장기적인 학생 성과를 포함하지 않는 품질 평가 프레임워크의 부족을 해결하기 위해.
• 채용 및 대학원 진학과 같은 졸업 후 성과 지표를 기관 평가에 식별하고 통합하기 위해.
• 클라우드 기반 빅데이터 기술을 활용한 확장 가능하고 데이터 기반의 프레임워크를 개발하기 위해.
• 기본적으로 결과 중심의 책임감을 바탕으로 기관들이 졸업 후 취업 및 대학원 진학 준비를 향상시키도록 유도하기 위해.

제안 방법

• 프레임워크는 졸업 후 학생의 성과가 교육 과정의 진정한 품질을 반영한다는 전제에 기반한다.
• BigQuery는 대규모 교육 데이터셋을 저장하고 관리하기 위한 클라우드 기반 데이터 웨어하우스로 사용된다.
• R은 종단적 학생 성과 데이터에서 통찰을 도출하기 위해 통계 분석 및 시각화에 활용된다.
• 프레임워크는 채용, 대학원 진학, 경력 발전 데이터를 핵심 성과 지표로 통합한다.
• 기존의 품질 평가 모델의 격차를 식별하고 제안된 결과 중심 접근법을 검증하기 위해 체계적인 문헌 고찰이 수행되었다.
• 실시간이고 확장 가능한 분석이 교육 지능 및 기관 평가에 어떻게 적용될 수 있는지에 대한 구현 사례를 통해 설명된다.

실험 결과

연구 질문

• RQ1 졸업 후 학생의 성과는 어떻게 체계적으로 측정되고 높은 교육 기관의 품질 지표로 활용될 수 있는가?
• RQ2 기존의 품질 평가 프레임워크는 장기적인 학생 성공을 어떻게 반영하지 못하는가?
• RQ3 BigQuery와 R과 같은 빅데이터 기술은 어떻게 기관의 확장 가능한 결과 기반 평가를 가능하게 하는가?
• RQ4 졸업 후 성과를 포함할 경우 기관의 품질 평가 정확성과 공정성은 어느 정도 향상되는가?
• RQ5 졸업 후 학생 성과를 기반으로 성과가 평가될 경우 기관의 행동은 어떻게 유도되는가?

주요 결과

• 이 연구는 졸업 후 학생의 성과—채용 및 대학원 진학 등—이 기관의 품질을 강력하고 측정 가능한 지표로 확인한다.
• 결과 기반 지표를 품질 평가에 통합하면 높은 교육 기관의 투명성과 책임감이 크게 향상된다.
• BigQuery와 같은 클라우드 기반 빅데이터 플랫폼은 결과 추적에 필요한 대규모이고 복잡한 교육 데이터셋을 효율적으로 저장하고 분석할 수 있게 한다.
• 기존의 품질 프레임워크는 대부분 졸업 후 성과를 간과하여 종합적인 기관 평가의 핵심적 격차를 만들어 냈다.
• 결과 기반 평가를 통합하면 기관들이 취업 및 대학원 진학 준비를 향상시키기 위한 노력을 강화하게 된다.
• R과 BigQuery를 사용한 구현을 통해 프레임워크의 실현 가능성과 확장성을 입증하였으며, 실제 교육 현장에서의 실용적 적용 가능성을 보여준다.