[논문 리뷰] Augmenting Holistic Review in University Admission using Natural Language Processing for Essays and Recommendation Letters

Jinsook Lee, Bradon Thymes외 3명|arXiv (Cornell University)|2023. 06. 30.

Online Learning and Analytics인용 수 4

한 줄 요약

이 연구는 자연어 처리(NLP)를 통해 에세이와 추천서의 텍스트를 분석함으로써, 인공지능 모델에서 차별 보호 속성(예: 인종, 성별)을 제외했을 때의 영향을 보완할 수 있는지 평가한다. 14,915명의 지원자 데이터를 바탕으로 한 분석 결과, 텍스트 특징은 모델 성능을 약간 향상시키고 성별 다양성 회복에 기여하지만, 민족적 소수자(URM)의 비율이 크게 감소하는 문제는 해결되지 않아, NLP가 보호 속성을 완전히 대체할 수 없음을 시사한다.

ABSTRACT

University admission at many highly selective institutions uses a holistic review process, where all aspects of the application, including protected attributes (e.g., race, gender), grades, essays, and recommendation letters are considered, to compose an excellent and diverse class. In this study, we empirically evaluate how influential protected attributes are for predicting admission decisions using a machine learning (ML) model, and in how far textual information (e.g., personal essay, teacher recommendation) may substitute for the loss of protected attributes in the model. Using data from 14,915 applicants to an undergraduate admission office at a selective U.S. institution in the 2022-2023 cycle, we find that the exclusion of protected attributes from the ML model leads to substantially reduced admission-prediction performance. The inclusion of textual information via both a TF-IDF representation and a Latent Dirichlet allocation (LDA) model partially restores model performance, but does not appear to provide a full substitute for admitting a similarly diverse class. In particular, while the text helps with gender diversity, the proportion of URM applicants is severely impacted by the exclusion of protected attributes, and the inclusion of new attributes generated from the textual information does not recover this performance loss.

연구 동기 및 목표

• 차별 보호 속성(예: 인종, 성별)을 제외했을 때 기계학습 모델이 대학 입학을 예측하는 데 미치는 영향을 평가하는 것.
• 개인 에세이와 추천서의 텍스트 특징이 민족적 배경 데이터 손실 시 모델 정확도와 민족적 다양성을 유지하는 데 기여할 수 있는지 조사하는 것.
• 보호 속성이 없는 상황에서 NLP 기법이 통합 심사 과정을 뒷받침하는 데 어느 정도 기여할 수 있는지 평가하는 것.
• 민족적 배경 특징이 없을 경우 NLP의 한계를 이해하고, 다양성을 복원하는 데에 어떤 영향을 미치는지 파악하는 것.
• 보호 속성 사용에 법적 제약이 있을 경우, 대학 입학에서 알고리즘 공정성에 대한 정책 및 실무 지침을 제시하는 것.

제안 방법

• 연구는 미국의 선택적 대학에서 2022–2023년 입학 캘린더 기준 14,915명의 지원자 기록을 기반으로 학습된 기계학습 모델을 사용한다.
• 특징 집합에는 성별, 인종/민족, 학업 성취도(성적, 수상 이력), 동아리 활동, 그리고 텍스트 데이터(에세이, 글쓰기 보완자료, 추천서)가 포함된다.
• 텍스트 특징은 TF-IDF와 은닉 디리클레 분포(Latent Dirichlet Allocation, LDA)를 사용해 주제 모델링을 통해 의미적 표현을 추출한다.
• 모델 성능 평가는 입학 예측의 AUC(ROC 곡선 아래 면적)을 사용하며, 다양성 분석은 예측된 지원자 상위 10%에서 이루어진다.
• 보호 속성이 포함되거나 제외된 모델과 다양한 텍스트 특징 조합을 비교함으로써 성능 및 다양성에 미치는 영향을 분리 분석한다.
• 성능 차이의 통계적 유의성은 p-값을 사용해 평가하며, 유의성 기준은 p < 0.05로 설정한다.

실험 결과

연구 질문

• RQ1 차별 보호 속성(예: 인종, 성별)을 제외했을 때 기계학습 모델이 대학 입학을 예측하는 데 성능이 어느 정도 저하되는가?
• RQ2 개인 에세이와 추천서의 텍스트 특징이 보호 속성 손실 시 모델 성능과 민족적 다양성을 유지하는 데 기여할 수 있는가?
• RQ3 민족적 배경 특징이 제외된 상황에서 텍스트 특징이 포함될 경우, 상위 랭킹 지원자 풀에서 소수자(URM)의 비율은 어떻게 영향을 받는가?
• RQ4 성별이 직접적인 특징으로 사용되지 않을 때, 텍스트 데이터 포함 여부에 따라 성별 다양성 예측 능력이 향상되는가?
• RQ5 TF-IDF와 LDA와 같은 NLP 기법이 보호 속성 대체에 기여할 수 있는 사회적·민족적 신호를 어느 정도 추출할 수 있는가?

주요 결과

• 보호 속성을 모델에서 제외하면 입학 예측 성능에 심각한 하락이 발생하여, 정확한 의사결정에 핵심적인 역할을 한다는 것을 시사한다.
• TF-IDF와 LDA를 통한 텍스트 특징 포함은 성능을 부분적으로 회복하지만, 개선 폭은 미미하다—AUC는 0.884에서 0.892로 상승했으나 통계적으로 유의미하지 않다(p = 0.303).
• 민족적 배경 데이터가 제외된 상황에서 텍스트 특징은 성별 다양성 회복에 기여하지만, 소수자(URM) 지원자 비율은 크게 감소하여 복원되지 않는다.
• 민족적 배경 특징이 제외된 모든 모델에서 URM 지원자 비율은 유사하게 유지되어, 텍스트만으로는 의미 있는 회복이 이루어지지 않음을 시사한다.
• 성별 대명사가 명시적으로 사용된 추천서는 성별이 직접 특징으로 사용되지 않을 경우 성별 다양성 복원에 특히 효과적이다.
• 연구는 NLP 기반 텍스트 분석이 통합 심사 과정에서 보호 속성을 완전히 대체할 수 없으며, 특히 소수자(URM)의 다양성 유지에선 한계가 있음을 결론 내린다.