[논문 리뷰] Predictive and Explanatory Models Might Miss Informative Features in Educational Data

Nicholas T. Young, Marcos D. Caballero|arXiv (Cornell University)|2021. 03. 26.

Imbalanced Data Classification Techniques참고 문헌 122인용 수 6

한 줄 요약

이 연구는 교육 데이터 마이닝(EDM)에서 특징과 결과의 불균형이 로지스틱 회귀, 페널라이즈드 회귀, 랜덤 포레스트 모델의 성능에 어떻게 영향을 미치는지 조사한다. 연구 결과, 예측 능력(오즈비)이 동일한 경우에도 모델이 더 적은 불균형을 가진 특징을 선호하는 경향이 있어 잘못된 음성 결과가 발생함을 밝혀냈다. 특히 작은 데이터셋에서 불균형이 심한 경우 Firth 및 Log-F와 같은 페널라이즈드 방법이 이러한 편향을 줄이는 데 효과적임을 확인하였다.

ABSTRACT

We encounter variables with little variation often in educational data mining (EDM) due to the demographics of higher education and the questions we ask. Yet, little work has examined how to analyze such data. Therefore, we conducted a simulation study using logistic regression, penalized regression, and random forest. We systematically varied the fraction of positive outcomes, feature imbalances, and odds ratios. We find the algorithms treat features with the same odds ratios differently based on the features' imbalance and the outcome imbalance. While none of the algorithms fully solved how to handle imbalanced data, penalized approaches such as Firth and Log-F reduced the difference between the built-in odds ratio and value determined by the algorithm. Our results suggest that EDM studies might contain false negatives when determining which variables are related to an outcome. We then apply our findings to a graduate admissions dataset. We end by proposing recommendations that researchers should consider penalized regression for datasets on the order of hundreds of cases and should include more context about their data in publications such as the outcome and feature imbalances.

연구 동기 및 목표

• 교육 데이터에서 특징과 결과의 불균형이 정보성 특징 탐지에 미치는 영향을 조사한다.
• 일반적으로 사용되는 예측 및 설명 모델(로지스틱 회귀, 랜덤 포레스트)이 예측 능력은 동일하지만 불균형도가 높은 특징보다 불균형도가 낮은 특징을 체계적으로 선호하는지 여부를 검토한다.
• Firth 및 Log-F와 같은 페널라이즈드 회귀 기법이 특징과 결과의 불균형으로 인한 편향을 줄이는 데 얼마나 효과적인지 평가한다.
• EDM 연구자들이 특징 선택 시 공정성과 타당성을 높이기 위해 실천 가능한 권고 사항을 제공한다.
• 출판물에 특징 및 결과의 불균형, 표본 크기, 메타특징을 보고할 것을 촉구함으로써 투명성을 증진시킨다.

제안 방법

• 결과 불균형(양성 결과의 비율), 특징 불균형(이진 특징에서 1의 비율), 내재된 오즈비를 변화시켜 시뮬레이션 연구를 수행하였다.
• 세 가지 모델을 평가: 표준 로지스틱 회귀, 페널라이즈드 로지스틱 회귀(Firth 및 Log-F), AUC-순열 중요도를 사용한 랜덤 포레스트.
• 표준 통계 소프트웨어와 호환되는 Log-F 페널라이즈드 회귀를 구현하기 위해 데이터 증강 기법을 사용하였다.
• 랜덤 포레스트의 특징 선택에서 불균형 결과를 더 잘 다루기 위해 AUC-순열 중요도를 적용하였다.
• 다양한 불균형 수준과 오즈비에서 모델 성능을 체계적으로 비교하여 특징 순위 매기기에서의 편향을 탐지하였다.
• 실제 대학원 입학 데이터셋을 활용해 연구 결과의 실용적 함의를 검증하였다.

실험 결과

연구 질문

• RQ1 결과 불균형 하에서 알려진 랜덤 포레스트 특징 선택 편향은 어떻게 변화하며, AUC-순열 중요도는 이러한 편향을 완화하는가?
• RQ2 특징과 결과가 모두 불균형한 상황에서 로지스틱 회귀와 같은 전통적 설명 모델의 편향은 어떻게 나타나는가?
• RQ3 Firth, Log-F 등 페널라이즈드 회귀 기법이 교육 데이터의 불균형으로 인한 특징 탐지 편향을 효과적으로 줄일 수 있는가?
• RQ4 로지스틱 회귀, 랜덤 포레스트, 페널라이즈드 회귀와 같은 다양한 모델 유형은 예측 능력은 동일하지만 불균형도가 다른 특징을 어떻게 탐지하는가?
• RQ5 데이터 불균형으로 인한 잘못된 음성 결과를 피하기 위해 EDM 연구자들이 따라야 할 권고 사항은 무엇인가?

주요 결과

• 로지스틱 회귀, 랜덤 포레스트, 페널라이즈드 회귀 모두 오즈비가 동일한 경우에도 더 적은 불균형을 가진 특징을 선호하는 편향을 보였다.
• 랜덤 포레스트와 표준 로지스틱 회귀는 동일한 예측 능력을 가졌음에도 불구하고 불균형도가 낮은 특징을 더 높게 순위 매겼다.
• 페널라이즈드 회귀 기법, 특히 Log-F와 Firth는 진정한 오즈비와 추정된 계수 간의 격차를 줄여 특징 탐지의 공정성을 향상시켰다.
• Log-F 방법은 표본 수가 수백 건 정도로 작은 데이터셋에서 특히 효과적이었으며, 이 경우 표준 로지스틱 회귀는 결과 및 특징 불균형으로 인한 편향으로 실패하였다.
• 랜덤 포레스트에서 AUC-순열 중요도는 특징 불균형으로 인한 편향을 줄였지만 완전히 제거하지 못했으며, 이는 모델 아키텍처만으로는 문제를 해결하지 못한다는 것을 시사한다.
• 연구에서는 인구통계적 범주를 통합하는 것(예: '소수자'로 종족을 통합하는 것)이 격차를 가리고 새로운 편향을 유발할 수 있으며, 특히 순서형 또는 범주형 구조가 손실될 경우 더욱 심각한 문제가 발생할 수 있음을 발견하였다.