[論文レビュー] Building a consistent system for faculty appraisal using Data Envelopment Analysis

Amar Oukil|arXiv (Cornell University)|Jan 1, 2018

Efficiency Analysis Using DEA参考文献 23被引用数 2

ひとこと要約

本稿は、教員を意思決定単位（DMU）として扱い、給与や経験などの入力を、論文発表数や授業評価などの出力で評価する、学術分野における教員評価のためのデータエンvelopment分析（DEA）フレームワークを提案する。2つの手法—各ランクカテゴリーごとに別々に評価する方法と、全ランクを統合して評価する方法—を比較した結果、統合的評価はDMU数の増加に伴うDEAの感受性により、より高い差別度を示す一方で、別々のカテゴリーでの評価では平均効率が高く（0.85～0.93）維持されていることが判明した。

ABSTRACT

Data Envelopment Analysis (DEA) appears more than just an instrument of measurement. DEA models can be seen as a mathematical structure for democratic voicing within decisional contexts. Such an important aspect of DEA is enhanced through the performance evaluation of a group of professors in a virtual Business college. We show that the outcomes of the analysis can be very useful to support decision processes at many levels. There are three categories of professors: Assistant professors, Associate professors, and Full professors. The evaluation process of these professors is investigated through two different cases. The first case handles each category of professors as a separate sample representing an independent population. The results show that the mean efficiency scores fall between 0.85 and 0.93 for all professors no matters their category. In spite of enabling more fairness, such an approach suffers from its exclusive character, which is contrary to the democratic spirit of DEA. The second case tries to cope with this deficiency through the assessment of the faculty members as a single sample drawn from the same population, i.e., Assistant professors, Associate professors, and Full professors are treated equally, only on the ground of their respective inputs and outputs, no matters their academic rank. A clear efficiency decline is reported, basically due to the very nature of DEA as a procedure that is more efficiency than output focused.

研究の動機と目的

• DEAを用いて一貫性があり、透明性があり、民主的な教員評価制度を構築すること。
• 従来の出力中心の評価方法に伴う公平性の懸念を是正すること。
• 2つのDEAベースの評価戦略—別々のランクカテゴリーでの評価と、統合された教員サンプルでの評価—を比較すること。
• 効率スコアを用いて給与、実績、昇進のベンチマークを特定すること。
• 昇進、給与引き上げ、リソース配分といったHR意思決定を支援すること。

提案手法

• 92名の仮想のビジネス・カレッジ教員を対象に、データエンvelopment分析（DEA）のCCRモデルを適用する。
• 給与や経験といった入力と、論文発表数や学生評価といった出力を、パフォーマンス指標として使用する。
• 2つのケースを実施する：(1) 教授職のランクごとに別々に評価（助手、准教授、正教授）、(2) 全てのランクを統合して一括評価。
• 資源使用状況とベンチマークパフォーマンスを評価するため、効率スコア、スケール効率、余剰給与率を計算する。
• 民主的声を評価プロセスに組み込むために、自己評価DEAを採用する。
• 機関のパフォーマンス基準を設定するために、平均入力／出力値と効率スコアの分布を用いる。

実験結果

リサーチクエスチョン

• RQ1 教員のランクを統合して評価すると、DEAベースの教員評価における効率の差別度にどのような影響を与えるか？
• RQ2 DEAは、従来の出力中心の教員評価に代わる、より民主的で透明性のある代替手段を提供できるか？
• RQ3 別々に評価する場合と集計的に評価する場合とで、ランクの影響が効率スコアにどのように現れるか？
• RQ4 DEAベンチマークは、昇進や給与設定といったHR意思決定をどのように支援できるか？
• RQ5 余剰給与率は、教員給与の不当な価格設定をどの程度示しているか？

主な発見

• 教員がランクカテゴリーごとに評価された場合、平均効率スコアは0.85～0.93の範囲にあり、全体的なパフォーマンスが非常に高いことが示された。
• 統合サンプルケースでは、DMU数の増加に伴うDEAの感受性により、効率スコアが著しく低下した。
• 67％以上の教員が0.95以上のスケール効率を達成しており、一定リターン（CCR）モデルの使用が妥当であることを裏付けた。
• 余剰給与率は12％～30％の範囲にあり、潜在的な過給与の可能性と給与ベンチマークの機会を示唆した。
• 複数の教員が完全な効率スコア（1.0）を達成しており、直接的な順位付けが困難であるため、より良い差別度を得るにはクロス効率モデルの導入が不可欠である。
• 本研究では、差別度の向上とランク・部門状況などの文脈的要因の統合を目的として、クロス効率DEAおよび二段階モデルの導入を推奨した。