[논문 리뷰] Acquiring Knowledge for Evaluation of Teachers Performance in Higher Education using a Questionnaire

Hafeez Ullah Amin, Abdur Rashid Khan|ArXiv.org|2009. 06. 25.

Online and Blended Learning참고 문헌 8인용 수 32

한 줄 요약

이 논문은 전문가 시스템을 활용하여 고등교육 분야의 교사 성과를 평가하기 위해 구조화된 설문지를 기반으로 한 지식 획득 방법을 제안한다. 15개의 요소와 99개의 질문을 포함한 입력을 파키스탄의 25명의 대학 전문가로부터 수집하여 검증되고 경험적으로 기반을 둔 프레임워크를 도출하였으며, 향후 연구에서 재사용 가능하다.

ABSTRACT

In this paper, we present the step by step knowledge acquisition process by choosing a structured method through using a questionnaire as a knowledge acquisition tool. Here we want to depict the problem domain as, how to evaluate teachers performance in higher education through the use of expert system technology. The problem is how to acquire the specific knowledge for a selected problem efficiently and effectively from human experts and encode it in the suitable computer format. Acquiring knowledge from human experts in the process of expert systems development is one of the most common problems cited till yet. This questionnaire was sent to 87 domain experts within all public and private universities in Pakistani. Among them 25 domain experts sent their valuable opinions. Most of the domain experts were highly qualified, well experienced and highly responsible persons. The whole questionnaire was divided into 15 main groups of factors, which were further divided into 99 individual questions. These facts were analyzed further to give a final shape to the questionnaire. This knowledge acquisition technique may be used as a learning tool for further research work.

연구 동기 및 목표

• 고등교육 분야의 교사 성과 평가에 관한 도메인 특화 지식을 체계적으로 획득하기 위한 방법을 개발하기 위해.
• 전문가 시스템 개발을 위해 전문가 지식을 효율적이고 효과적으로 캡처하는 데 도전하는 데 위해.
• 교수 평가를 위한 다차원 기준을 포괄하는 구조화된 설문지를 설계하기 위해.
• 파키스탄의 공공 및 민간 대학에서의 전문가 피드백을 통해 설문지를 검증하기 위해.
• 향후 학업 성과 평가 시스템 연구를 위한 재사용 가능한 지식 기반을 구축하기 위해.

제안 방법

• 교수 성과에 대한 전문가 의견을 수집하기 위해 15개의 주요 요소와 99개의 개별 질문을 포함한 구조화된 설문지를 개발하였다.
• 파키스탄의 공공 및 민간 대학 소속 총 87명의 도메인 전문가에게 설문지를 배포하였다.
• 전문가들은 고등교육 분야에서의 학술 자격, 경력, 전문적 책임을 기준으로 선발되었다.
• 전문가 25명으로부터의 데이터를 수집하고 분석하여 설문지의 구조와 내용을 개선하였다.
• 일관성과 타당성을 보장하기 위해 체계적이고 단계적인 접근 방식을 따르는 지식 획득 과정을 수립하였다.
• 최종 설문지는 전문가 피드백을 통해 검증되었으며 전문가 시스템 개발의 기초 자료로 사용되었다.

실험 결과

연구 질문

• RQ1 고등교육 분야의 교사 성과에 관한 전문가 지식은 어떻게 체계적으로 획득하고 암호화하여 전문가 시스템에서 활용할 수 있는가?
• RQ2 고등교육 분야의 전문가들이 교사 성과 평가에서 가장 중요하게 고려하는 핵심 요소는 무엇인가?
• RQ3 어떻게 구조화된 설문지를 통해 도메인 전문가들로부터 다차원적인 성과 기준을 효과적으로 캡처할 수 있는가?
• RQ4 학술 평가의 맥락에서 설문지를 기반으로 한 지식 획득 방법의 신뢰도와 타당도는 어떠한가?
• RQ5 최종적으로 도출된 지식 프레임워크는 향후 교육 분야의 전문가 시스템 개발에 어떻게 적용될 수 있는가?

주요 결과

• 설문지를 통해 파키스탄 대학의 25명의 자격을 갖춘 경험이 풍부한 학자들로부터 전문가의 의견을 성공적으로 확보하였다.
• 15개의 요소와 99개의 질문을 포함한 프레임워크는 교사 성과 평가 기준을 종합적이고 체계적으로 표현하였다.
• 전문가 피드백을 통해 설문지의 내용과 구조가 중대하게 개선되고 검증되었다.
• 지식 획득 과정은 성과 평가를 위한 도메인 특화된 실천 가능한 기준을 효과적으로 캡처하는 데 성공하였다.
• 최종적으로 도출된 프레임워크는 고등교육 분야의 교사 평가 전문가 시스템에 통합하기에 적합하다.
• 이 방법론은 유사한 지식 획득 작업을 위한 재사용 가능하고 유연하게 적용 가능한 방법이다.