[논문 리뷰] Building a consistent system for faculty appraisal using Data Envelopment Analysis

Amar Oukil|arXiv (Cornell University)|2018. 01. 01.

Efficiency Analysis Using DEA참고 문헌 23인용 수 2

한 줄 요약

이 논문은 학계의 교원 평가를 위한 데이터 포괄 분석(DEA) 프레임워크를 제안하며, 교수들을 의사결정단위(DMU)로 간주하여 급여, 경력 등의 투입과 논문, 수업 평가 등의 출력을 평가 기준으로 삼는다. 두 가지 접근 방식—각 계급별로 평가하는 것과 모든 계급을 통합하여 평가하는 것—을 비교한 결과, 통합 평가 방식은 DMU 수 증가로 인한 DEA의 민감성으로 인해 더 높은 차별성을 보이며, 반면 계급별로 평가할 경우 평균 효율성은 0.85~0.93로 매우 높게 유지된다.

ABSTRACT

Data Envelopment Analysis (DEA) appears more than just an instrument of measurement. DEA models can be seen as a mathematical structure for democratic voicing within decisional contexts. Such an important aspect of DEA is enhanced through the performance evaluation of a group of professors in a virtual Business college. We show that the outcomes of the analysis can be very useful to support decision processes at many levels. There are three categories of professors: Assistant professors, Associate professors, and Full professors. The evaluation process of these professors is investigated through two different cases. The first case handles each category of professors as a separate sample representing an independent population. The results show that the mean efficiency scores fall between 0.85 and 0.93 for all professors no matters their category. In spite of enabling more fairness, such an approach suffers from its exclusive character, which is contrary to the democratic spirit of DEA. The second case tries to cope with this deficiency through the assessment of the faculty members as a single sample drawn from the same population, i.e., Assistant professors, Associate professors, and Full professors are treated equally, only on the ground of their respective inputs and outputs, no matters their academic rank. A clear efficiency decline is reported, basically due to the very nature of DEA as a procedure that is more efficiency than output focused.

연구 동기 및 목표

• DEA를 활용해 일관성 있고 투명하며 민주적인 교원 평가 체계를 개발하기 위해.
• 기존의 출력 중심 평가 방식에서 발생하는 공정성 문제를 해결하기 위해.
• 두 가지 DEA 기반 평가 전략—각 계급별로 나누어 평가하는 것과 전체 교원 샘플을 통합하여 평가하는 것—을 비교하기 위해.
• 효율성 점수를 활용해 급여, 성과, 승진에 대한 기준점을 규명하기 위해.
• 승진, 급여 조정, 자원 배분 등의 인사 결정 지원을 위해.

제안 방법

• 92명의 가상의 비즈니스 스쿨 교수를 평가하기 위해 데이터 포괄 분석(DEA)의 CCR 모델을 적용한다.
• 성과 지표로 투입(예: 급여, 경력)과 출력(예: 논문, 학생 평가)을 사용한다.
• 두 가지 사례를 수행한다: (1) 각 학술 계급(조교수, 부교수, 정교수)별로 별도 평가, (2) 모든 계급을 통합하여 평가.
• 자원 사용과 기준 성과 평가를 위해 효율성 점수, 규모 효율성, 초과 급여 비율을 계산한다.
• 자기 평가 기반 DEA를 활용해 평가 과정에 민주적 목소리를 통합한다.
• 기관 수준의 성과 기준을 설정하기 위해 평균 투입/출력 값과 효율성 분포를 활용한다.

실험 결과

연구 질문

• RQ1 학술 계급을 통합함으로써 DEA 기반 교원 평가에서 효율성에 대한 차별성은 어떻게 영향을 받는가?
• RQ2 DEA는 기존의 출력 중심 평가 방식에 비해 더 민주적이고 투명한 대안을 제공할 수 있는가?
• RQ3 각각의 계급에서 평가할 경우와 통합적으로 평가할 경우 효율성 점수에 어떤 영향을 미치는가?
• RQ4 DEA 기준점은 승진 및 급여 설정과 같은 인사 결정을 어떻게 지원할 수 있는가?
• RQ5 초과 급여 비율은 교원 보상의 과다 지급 여부를 어느 정도 반영하는가?

주요 결과

• 교수들을 계급별로 평가할 경우 평균 효율성 점수는 0.85에서 0.93 사이로 유지되어 전반적인 높은 성과를 나타낸다.
• 통합 샘플 사례에서는 더 큰 DMU 집단으로 인한 증가된 차별성으로 인해 효율성 점수가 크게 하락한다.
• 67% 이상의 교수들이 0.95 이상의 규모 효율성을 확보하여 일정 수요량 모델(CCR)의 사용을 지지한다.
• 초과 급여 비율은 12%에서 30% 사이로 나타나, 잠재적인 과다 지급과 급여 기준 설정 기회를 시사한다.
• 여러 명의 교수가 완벽한 효율성 점수 1.0을 기록하여 직접 순위 매기기가 어려워지며, 더 나은 차별성을 확보하기 위해 교차 효율성 모델이 필요하다.
• 본 연구는 효율성 향상과 계급 및 학과 조건과 같은 맥락적 요인을 통합하기 위해 교차 효율성 DEA 및 이중단계 모델을 권장한다.