[论文解读] Acquiring Knowledge for Evaluation of Teachers Performance in Higher Education using a Questionnaire

Hafeez Ullah Amin, Abdur Rashid Khan|ArXiv.org|Jun 25, 2009

Online and Blended Learning参考文献 8被引用 32

一句话总结

本文提出了一种基于结构化问卷的知识获取方法，利用专家系统评估高等教育教师表现。研究从巴基斯坦25所大学的专家处收集了15个因素和99个问题的输入，形成了一套经过验证、基于实证的绩效评估框架，可为未来研究重复使用。

ABSTRACT

In this paper, we present the step by step knowledge acquisition process by choosing a structured method through using a questionnaire as a knowledge acquisition tool. Here we want to depict the problem domain as, how to evaluate teachers performance in higher education through the use of expert system technology. The problem is how to acquire the specific knowledge for a selected problem efficiently and effectively from human experts and encode it in the suitable computer format. Acquiring knowledge from human experts in the process of expert systems development is one of the most common problems cited till yet. This questionnaire was sent to 87 domain experts within all public and private universities in Pakistani. Among them 25 domain experts sent their valuable opinions. Most of the domain experts were highly qualified, well experienced and highly responsible persons. The whole questionnaire was divided into 15 main groups of factors, which were further divided into 99 individual questions. These facts were analyzed further to give a final shape to the questionnaire. This knowledge acquisition technique may be used as a learning tool for further research work.

研究动机与目标

• 开发一种系统化的方法，用于获取高等教育教师绩效评估领域的特定领域知识。
• 解决在专家系统开发过程中高效且有效地捕捉专家知识的挑战。
• 设计一种结构化问卷，以捕捉教师评估的多维标准。
• 通过巴基斯坦公立和私立大学专家的反馈对问卷进行验证。
• 为未来学术绩效评估系统研究创建一个可重复使用的知识库。

提出的方法

• 开发了包含15个主要因素和99个独立问题的结构化问卷，以收集专家对教师表现的意见。
• 问卷分发给巴基斯坦公立和私立大学的87名领域专家。
• 专家根据其学术资格、经验及在高等教育领域的专业职责进行遴选。
• 收集并分析了25名专家的数据，以优化问卷的结构和内容。
• 知识获取过程遵循系统化、分步推进的方法，以确保一致性和有效性。
• 最终问卷通过专家反馈得到验证，并作为专家系统开发的基础。

实验结果

研究问题

• RQ1 如何系统化地获取并编码高等教育教师表现的专家知识，以供专家系统使用？
• RQ2 高等教育专家在评估教师表现时，认为哪些因素最为重要？
• RQ3 如何通过结构化问卷有效捕捉领域专家对多维绩效标准的看法？
• RQ4 在学术评估背景下，基于问卷的知识获取方法的可靠性和有效性如何？
• RQ5 所获得的知识框架如何应用于未来教育领域的专家系统开发？

主要发现

• 问卷成功收集了来自巴基斯坦大学25名合格且经验丰富的学者的专家意见。
• 包含15个因素和99个问题的框架全面且系统地呈现了教师表现标准。
• 专家反馈显著优化并验证了问卷的内容与结构。
• 知识获取过程在捕捉特定领域、可操作的绩效评估标准方面被证明是有效的。
• 所形成的框架适合整合到高等教育教师评估的专家系统中。
• 该方法可重复使用，并可适应类似学术或机构评估情境下的知识获取任务。