[논문 리뷰] Role of Secondary Attributes to Boost the Prediction Accuracy of Students Employability Via Data Mining

Pooja Thakar, Anil Mehta외 1명|arXiv (Cornell University)|2017. 08. 09.

Management and Marketing Education참고 문헌 6인용 수 4

한 줄 요약

이 연구는 MCA 학생들의 취업 가능성 예측 정확도를 높이기 위해 성격 특성 및 소프트 스킬과 같은 보조 성적측정 특성들을 통합할 경우의 영향을 조사한다. 주로 학업 성취도만 포함된 데이터셋과 보다 풍부한 보조 특성(예: 의사소통 능력, 리더십, 적응력)을 포함한 데이터셋을 비교하여 다양한 분류 알고리즘을 적용한 결과, 보조 특성이 특히 초기 학업 연도에 있어 예측 성능을 크게 향상시킴을 확인하였다.

ABSTRACT

Data Mining is best-known for its analytical and prediction capabilities. It is used in several areas such as fraud detection, predicting client behavior, money market behavior, bankruptcy prediction. It can also help in establishing an educational ecosystem, which discovers useful knowledge, and assist educators to take proactive decisions to boost student performance and employability. This paper presents an empirical study that compares varied classification algorithms on two datasets of MCA (Masters in Computer Applications) students collected from various affiliated colleges of a reputed state university in India. One dataset includes only primary attributes, whereas other dataset is feeded with secondary psychometric attributes in it. The results showcase that solely primary academic attributes do not lead to smart prediction accuracy of students employability, once they square measure within the initial year of their education. The study analyzes and stresses the role of secondary psychometric attributes for better prediction accuracy and analysis of students performance. Timely prediction and analysis of students performance can help Management, Teachers and Students to work on their gray areas for better results and employment opportunities.

연구 동기 및 목표

• 보조 성적측정 특성이 학생의 취업 가능성 예측 정확도에 미치는 영향을 평가하는 것.
• 보조 특성이 포함된 데이터셋과 포함되지 않은 데이터셋을 사용한 다양한 분류 알고리즘의 성능을 비교하는 것.
• 초기 학업 단계에서 예측 성과 향상에 가장 기여하는 특성들을 특정하는 것.
• 교육자와 기관이 데이터 기반 통찰을 바탕으로 학생의 성과 격차를 사전에 보완할 수 있도록 지원하는 것.
• 비학업적 특성을 통합함으로써 취업 가능성 예측을 향상시키는 데이터 마이닝 프레임워크를 구축하는 것.

제안 방법

• 인도의 주립 대학교 산하 소속 college의 MCA 학생들로부터 두 가지 데이터셋을 수집: 하나는 주로 학업 성취도(예: CGPA, 출석률)만 포함하고, 다른 하나는 의사소통 능력, 리더십, 적응력 등 보조 성적측정 특성이 추가된 데이터셋.
• 결정 트리, 나이브 베이즈, 서포트 벡터 머신 등의 다양한 분류 알고리즘을 적용하여 두 데이터셋 기반으로 학생의 취업 가능성 예측을 수행.
• 정규화, 결측치 처리, 특성 스케일링 등의 표준 데이터 전처리 기법을 적용하여 데이터 품질을 확보.
• 정확도, 정밀도, 재현율, F1-스코어 등의 표준 평가 지표를 사용하여 데이터셋 간 성능을 비교.
• 보조 특성이 전체 예측 성능 향상에 기여하는 정도를 분리 분석하여 비교 분석 수행.
• 교차 검증 테스트에서 정확도와 강건성을 기준으로 최고 성능을 보인 모델을 선정.

실험 결과

연구 질문

• RQ1 보조 성적측정 특성의 통합이 학생의 취업 가능성 예측 정확도에 어떤 영향을 미치는가?
• RQ2 보조 특성이 데이터셋에 포함되었을 때 어떤 분류 알고리즘이 가장 우수한 성능을 보이는가?
• RQ3 주로 학업 성취도 지표만으로도 초기 단계의 취업 가능성 예측에 충분한가?
• RQ4 MCA 교육의 첫 해에 보조 특성이 모델 성능 향상에 어느 정도 기여하는가?
• RQ5 어느 특정 보조 특성이 예측 성과 향상에 가장 크게 기여하는가?

주요 결과

• 보조 성적측정 특성의 통합은 주로 학업 성취도만을 사용한 모델보다 예측 정확도가 유의미하게 향상됨을 확인.
• 보조 특성이 포함된 데이터셋으로 훈련된 모델은 모든 테스트된 알고리즘에서 더 높은 F1-스코어와 총합 정확도를 달성.
• 연구 결과, 보조 특성은 주로 학업 성취도가 아직 형성 중인 초기 학업 연도에 특히 효과적인 것으로 나타남.
• 평가된 알고리즘 중에서 보조 특성이 포함된 경우 서포트 벡터 머신(SVM)이 가장 높은 정확도를 기록.
• 의사소통 능력, 리더십, 적응력 등의 성적측정 특성이 취업 가능성의 강력한 예측 변수로 부각됨.
• 결과적으로 주로 학업 성취 지표에만 의존할 경우, 특히 1학년 학생들 대상으로는 최적의 예측 성능을 달성하지 못함이 확인됨.