[論文レビュー] Augmenting Holistic Review in University Admission using Natural Language Processing for Essays and Recommendation Letters

Jinsook Lee, Bradon Thymes+3 more|arXiv (Cornell University)|Jun 30, 2023

Online Learning and Analytics被引用数 4

ひとこと要約

本研究は、大学進学の意思決定モデルにおいて、人種や性別といった保護対象属性（例：race, gender）が除外された場合に、エッセイおよび推薦状の自然言語処理（NLP）がその欠落を補うかどうかを評価する。14,915名の応募者データを用いて、テキスト特徴量の導入によりモデル性能はわずかに向上し、性別に関する多様性の回復も見られるが、人種的・民族的マイノリティ（URM）の割合が顕著に低下する状況では、NLPによる代替は不十分であることが判明した。これは、NLPが多様性の維持の観点から保護対象属性を完全に代替できないことを示している。

ABSTRACT

University admission at many highly selective institutions uses a holistic review process, where all aspects of the application, including protected attributes (e.g., race, gender), grades, essays, and recommendation letters are considered, to compose an excellent and diverse class. In this study, we empirically evaluate how influential protected attributes are for predicting admission decisions using a machine learning (ML) model, and in how far textual information (e.g., personal essay, teacher recommendation) may substitute for the loss of protected attributes in the model. Using data from 14,915 applicants to an undergraduate admission office at a selective U.S. institution in the 2022-2023 cycle, we find that the exclusion of protected attributes from the ML model leads to substantially reduced admission-prediction performance. The inclusion of textual information via both a TF-IDF representation and a Latent Dirichlet allocation (LDA) model partially restores model performance, but does not appear to provide a full substitute for admitting a similarly diverse class. In particular, while the text helps with gender diversity, the proportion of URM applicants is severely impacted by the exclusion of protected attributes, and the inclusion of new attributes generated from the textual information does not recover this performance loss.

研究の動機と目的

• 保護対象属性（例：人種、性別）を除外した場合に、大学進学の意思決定を予測する機械学習モデルに与える影響を評価すること。
• エッセイおよび推薦状からのテキスト特徴量が、人種的・民族的多様性の維持と予測精度の両面で、人種的・民族的属性の欠落を補うことができるかどうかを調査すること。
• 保護対象属性が存在しない状況下で、NLP技術が包括的選考プロセスをどの程度支援できるかを評価すること。
• 人種的・民族的マイノリティ（URM）の多様性を回復する観点から、NLPの限界を理解すること。
• 保護対象属性の使用が法的制約により制限される状況下で、アルゴリズムの公平性に関する政策的・実務的知見を提供すること。

提案手法

• 本研究は、2022–2023年度の選抜サイクルに参加した米国上位大学の14,915名の応募者記録を用いた機械学習モデルを用いる。
• 特徴量には、人種・民族、性別などの人種的・社会的属性、成績、栄誉、課外活動、およびエッセイ、ライティング補足、推薦状などのテキストデータが含まれる。
• テキスト特徴量は、TF-IDFおよび潜在ディリクレ配分（LDA）を用いて処理され、意味的表現が抽出される。
• モデルの性能評価には、進学予測のAUC（受容器操作特性曲線下積分）を用い、上位10パーセンタイルの予測応募者における多様性の分析も併記する。
• 保護対象属性の有無、およびテキスト特徴量の異なる組み合わせを用いたモデルを比較し、性能および多様性への影響を分離して分析する。
• 性能差の統計的有意性はp値を用いて評価され、有意水準はp < 0.05と定める。

実験結果

リサーチクエスチョン

• RQ1 保護対象属性（例：人種、性別）を除外した場合、大学進学予測の機械学習モデル性能にどの程度悪影響が及ぶか。
• RQ2 個人エッセイおよび推薦状からのテキスト特徴量が、保護対象属性の欠落を補うことで、モデル性能と人種的多様性の維持に寄与できるか。
• RQ3 人種的・民族的マイノリティ（URM）の応募者における、人種的属性が欠落した状況下で、テキスト特徴量の導入が上位ランクの応募者プールにおける代表割合に与える影響は。
• RQ4 性別が直接的な特徴量として使用されない状況下で、テキストデータの導入が性別多様性の予測能力を向上させるか。
• RQ5 TF-IDFおよびLDAといったNLP技術が、保護対象属性の代替として機能しうる社会的・人種的信号をどの程度捉えられるか。

主な発見

• 保護対象属性をモデルから除外すると、進学予測性能が著しく低下し、正確な意思決定にその重要性が示された。
• TF-IDFおよびLDAによるテキスト特徴量の導入により、モデル性能は部分的に回復したが、その改善は微小であり、AUCは0.884から0.892に上昇したにとどまり、p = 0.303という有意水準（p < 0.05）を満たさなかった。
• 人種的・民族的マイノリティ（URM）の割合は、人種的属性が欠落した状況下で、テキスト特徴量の導入により回復しない。
• 人種的属性が欠落したモデルにおいて、URM応募者の割合はほぼ一定であり、テキスト情報のみで有意義な回復は見られない。
• 推薦状は性別代名詞を明示的に使用していることが多いため、性別が直接的特徴量でない場合でも、性別多様性の回復に特に有効である。
• 本研究は、NLPを用いたテキスト分析が、包括的選考プロセスにおいて人種的・民族的マイノリティ（URM）の多様性を維持する観点から、保護対象属性を完全に代替できないと結論づける。