[論文レビュー] Outcome-Based Quality Assessment Framework for Higher Education

Samiya Khan, Mansaf Alam|arXiv (Cornell University)|Mar 15, 2017

Evaluation and Performance Assessment参考文献 7被引用数 4

ひとこと要約

本論文は、卒業後の学生の成果（採用状況や大学院進学など）を評価軸とする、高等教育機関の成果に基づく品質評価フレームワークを提唱する。BigQueryとRを用いたクラウドプラットフォーム上のビッグデータ分析を通じて、長期的な学生の成功を追跡することで、機関の品質を強固でデータドリブンな指標として評価できることを示している。これは、従来の評価モデルに欠けている重要なギャップを埋めるものである。

ABSTRACT

This research paper proposes a quality framework for higher education that evaluates the performance of institutions on the basis of performance of outgoing students. Literature was surveyed to evaluate existing quality frameworks and develop a framework that provides insights on an unexplored dimension of quality. In order to implement and test the framework, cloud-based big data technology, BigQuery, was used with R to perform analytics. It was found that how the students fair after passing out of a course is the outcome of educational process. This aspect can also be used as a quality metric for performance evaluation and management of educational organizations. However, it has not been taken into account in existing research. The lack of an integrated data collection system and rich datasets for educational intelligence applications, are some of the limitations that plague this area of research. Educational organizations are responsible for the performance of their students even after they complete their course. The inclusion of this dimension to quality assessment shall allow evaluation of educational institutions on these grounds. Assurance of this quality dimension shall boost enrolments in postgraduate and research degrees. Moreover, educational institutions will be motivated to groom students for placements or higher studies.

研究の動機と目的

• 卒業後の長期的学習成果を組み込む品質評価フレームワークの不足を解消すること。
• 採用状況や大学院進学などの卒業後成績指標を、機関評価に特定・統合すること。
• クラウドベースのビッグデータ技術を活用したスケーラブルでデータドリブンなフレームワークを構築すること。
• 成果に基づく責任体制を通じて、機関が学生の採用準備および大学院進学への準備を高めるよう促すこと。

提案手法

• 卒業後の学生の成果が教育プロセスの真の質を反映するという前提に基づく。
• 大規模な教育データセットの保存・管理に、クラウドベースのデータウェアハウスとしてBigQueryが使用される。
• 縦断的学力データからのインサイトを抽出するために、Rが統計的分析および可視化に用いられる。
• 採用状況、大学院進学、キャリア進歩のデータを、主要なパフォーマンス指標として統合する。
• 既存の品質評価モデルにおけるギャップを同定し、提案された成果中心のアプローチを検証するために、体系的文献レビューが実施された。
• リアルタイムでスケーラブルな分析が教育インテリジェンスおよび機関評価に応用可能であることが、実装を通じて示された。

実験結果

リサーチクエスチョン

• RQ1 卒業後の学生の成果を、高等教育機関の品質指標として体系的に測定し、活用する方法は何か？
• RQ2 現在の品質評価フレームワークが、長期的学習成果を捉える点で抱える制限は何か？
• RQ3 BigQuery や R といったビッグデータ技術を活用することで、教育機関のスケーラブルで成果に基づく評価をどのように実現できるか？
• RQ4 卒業後の成果を含めることで、機関の品質評価の正確性と公平性はどの程度向上するか？
• RQ5 卒業後の学生の成果に基づいて機関のパフォーマンスが評価されると、どのような機関行動が促進されるか？

主な発見

• 卒業後の学生の成果（採用状況や大学院進学など）は、機関の品質を示す強力で測定可能な指標であることが確認された。
• 成果に基づく指標を品質評価に統合することで、高等教育機関の透明性と責任性が顕著に向上する。
• BigQuery などのクラウドベースのビッグデータプラットフォームは、成果追跡に必要な大規模で複雑な教育データセットの効率的保存・分析を可能にする。
• 既存の品質フレームワークは、卒業後の成績をほとんど無視しており、包括的な機関評価における重要なギャップを生じさせている。
• 成果に基づく評価を組み込むことで、機関が就職および大学院進学への準備を高めるよう動機づけられる。
• R と BigQuery を用いた実装を通じて、フレームワークの実現可能性とスケーラビリティが示された。実世界の教育現場への実用的応用が確認された。