[論文レビュー] Acquiring Knowledge for Evaluation of Teachers Performance in Higher Education using a Questionnaire

Hafeez Ullah Amin, Abdur Rashid Khan|ArXiv.org|Jun 25, 2009

Online and Blended Learning参考文献 8被引用数 32

ひとこと要約

本論文は、専門家システムを用いて大学教育における教員のパフォーマンスを評価するため、構造化されたアンケートベースの知識獲得手法を提案する。15の要因と99の質問を含む入力を、パキスタンの25名の大学専門家から収集した結果、検証され、経験的根拠に基づいたフレームワークが得られ、今後の研究において再利用可能である。

ABSTRACT

In this paper, we present the step by step knowledge acquisition process by choosing a structured method through using a questionnaire as a knowledge acquisition tool. Here we want to depict the problem domain as, how to evaluate teachers performance in higher education through the use of expert system technology. The problem is how to acquire the specific knowledge for a selected problem efficiently and effectively from human experts and encode it in the suitable computer format. Acquiring knowledge from human experts in the process of expert systems development is one of the most common problems cited till yet. This questionnaire was sent to 87 domain experts within all public and private universities in Pakistani. Among them 25 domain experts sent their valuable opinions. Most of the domain experts were highly qualified, well experienced and highly responsible persons. The whole questionnaire was divided into 15 main groups of factors, which were further divided into 99 individual questions. These facts were analyzed further to give a final shape to the questionnaire. This knowledge acquisition technique may be used as a learning tool for further research work.

研究の動機と目的

• 大学教育における教員パフォーマンス評価に関するドメイン固有の知識を体系的に獲得するためのアプローチを開発すること。
• 専門家システム開発のため、専門知識を効率的かつ効果的に捉える課題に対処すること。
• 教員評価の多次元的基準を捉えることができる構造化されたアンケートを設計すること。
• パキスタンの公的および私的大学の専門家からのフィードバックを通じて、アンケートの妥当性を検証すること。
• 今後の学術的パフォーマンス評価システム研究に再利用可能な知識ベースを構築すること。

提案手法

• 教員パフォーマンスに関する専門家の意見を収集するために、15の主要要因と99の個別質問を含む構造化されたアンケートを開発した。
• パキスタンの公的および私的大学の87名のドメイン専門家にアンケートを配布した。
• 専門家は、大学教育における学術的資格、経験、および専門的責任に基づいて選定された。
• 25名の専門家のデータを収集し、アンケートの構造と内容を洗練するために分析を行った。
• 知識獲得プロセスは、一貫性と妥当性を確保するため、体系的で段階的なアプローチに従った。
• 最終的なアンケートは、専門家のフィードバックを通じて検証され、専門家システム開発の基盤として使用された。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、大学教育における教員パフォーマンスに関する専門家の知識を体系的に獲得し、専門家システムで利用可能な形に符号化できるか？
• RQ2 大学教育の専門家が、教員パフォーマンスを評価する際に最も重視すると考えている要因は何か？
• RQ3 どのようにして構造化されたアンケートがドメイン専門家から多次元的パフォーマンス基準を効果的に捉えることができるか？
• RQ4 学術的評価の文脈において、アンケートベースの知識獲得手法の信頼性と妥当性は何か？
• RQ5 得られた知識フレームワークは、教育分野における今後の専門家システム開発にどのように応用できるか？

主な発見

• アンケートは、パキスタンの大学の25名の資格を有し経験豊富な教員から専門家の意見を効果的に収集できた。
• 15の要因と99の質問を含むフレームワークは、教員パフォーマンス基準の包括的かつ体系的な表現を提供した。
• 専門家のフィードバックにより、アンケートの内容と構造が顕著に洗練され、検証された。
• 知識獲得プロセスは、ドメイン固有の実行可能な基準を効果的に捉えるのに有効であった。
• 得られたフレームワークは、大学教育における教員評価の専門家システムへの統合に適している。
• この手法は再利用可能であり、学術的または機関評価の文脈における類似の知識獲得タスクに適応可能である。