[论文解读] Building a consistent system for faculty appraisal using Data Envelopment Analysis

Amar Oukil|arXiv (Cornell University)|Jan 1, 2018

Efficiency Analysis Using DEA参考文献 23被引用 2

一句话总结

本文提出了一种用于学术界教师评估的资料包络分析（DEA）框架，将教授视为决策单元（DMUs），依据投入（如薪资、资历）和产出（如发表论文、教学评分）进行评估。比较了按职称类别分别评估与合并所有职称统一评估两种方法，发现统一评估因DEA对DMU数量敏感而加剧了效率歧视，而分类型评估时平均效率仍保持在0.85至0.93的高水平。

ABSTRACT

Data Envelopment Analysis (DEA) appears more than just an instrument of measurement. DEA models can be seen as a mathematical structure for democratic voicing within decisional contexts. Such an important aspect of DEA is enhanced through the performance evaluation of a group of professors in a virtual Business college. We show that the outcomes of the analysis can be very useful to support decision processes at many levels. There are three categories of professors: Assistant professors, Associate professors, and Full professors. The evaluation process of these professors is investigated through two different cases. The first case handles each category of professors as a separate sample representing an independent population. The results show that the mean efficiency scores fall between 0.85 and 0.93 for all professors no matters their category. In spite of enabling more fairness, such an approach suffers from its exclusive character, which is contrary to the democratic spirit of DEA. The second case tries to cope with this deficiency through the assessment of the faculty members as a single sample drawn from the same population, i.e., Assistant professors, Associate professors, and Full professors are treated equally, only on the ground of their respective inputs and outputs, no matters their academic rank. A clear efficiency decline is reported, basically due to the very nature of DEA as a procedure that is more efficiency than output focused.

研究动机与目标

• 开发一种基于DEA的一致性、透明且民主的教师评估体系。
• 解决传统以产出为导向的评估方法中存在的公平性问题。
• 比较两种基于DEA的评估策略：按职称类别分别评估与统一整合全体教师样本。
• 利用效率得分识别薪资、绩效与晋升的基准。
• 支持人力资源决策，如晋升、薪资调整与资源分配。

提出的方法

• 将资料包络分析（DEA）的CCR模型应用于92名虚拟商学院教授的评估。
• 以投入（如薪资、资历）和产出（如发表论文、学生评分）作为绩效指标。
• 开展两种情形分析：(1) 按学术职称类别（助理教授、副教授、正教授）分别评估，(2) 对所有职称统一评估。
• 计算效率得分、规模效率及超额薪资比率，以评估资源使用效率与基准表现。
• 采用自评DEA方法，将民主声音嵌入评估过程。
• 利用平均投入/产出值及效率分布设定机构绩效标准。

实验结果

研究问题

• RQ1 将学术职称合并会对基于DEA的教师评估中的效率歧视产生何种影响？
• RQ2 DEA能否提供一种比传统以产出为导向的教师评估更具民主性与透明度的替代方案？
• RQ3 在分别评估与整体合并评估下，职称对效率得分的影响如何？
• RQ4 DEA基准如何支持人力资源决策，如晋升与薪资设定？
• RQ5 超额薪资比率在多大程度上反映出教师薪酬的定价失准？

主要发现

• 当按职称类别评估时，平均效率得分在0.85至0.93之间，表明整体表现优异。
• 在合并样本情形下，由于DMU总数增加导致效率歧视加剧，效率得分显著下降。
• 超过67%的教授达到超过0.95的规模效率，支持使用规模报酬不变（CCR）模型。
• 超额薪资比率介于12%至30%之间，提示可能存在过度支付，为薪资基准提供参考空间。
• 多名教授获得完美的效率得分1.0，限制了直接排序，因此需采用交叉效率模型以提升区分度。
• 本研究建议采用交叉效率DEA与两阶段模型，以增强区分能力并整合职称与院系条件等情境因素。