[논문 리뷰] Evaluating the Explainers: Black-Box Explainable Machine Learning for Student Success Prediction in MOOCs

Vinitra Swamy, Bahar Radmehr외 3명|arXiv (Cornell University)|2022. 07. 01.

Explainable Artificial Intelligence (XAI)인용 수 6

한 줄 요약

이 논문은 블랙박스 해석 가능성 방법 다섯 가지—LIME, SHAP, DiCE, CEM, PermutationSHAP—을 사용하여 이중방향 LSTM를 활용한 MOOC에서의 학생 성공 예측에 대해 평가한다. 해석 방법 간의 기능 중요도 순위가 상당히 다름을 발견하였으며, 방법 선택이 과정이나 모델보다 해석에 더 큰 영향을 미친다. 이는 교육 AI에서 해석 방법 선택의 핵심적 역할을 강조한다.

ABSTRACT

Neural networks are ubiquitous in applied machine learning for education. Their pervasive success in predictive performance comes alongside a severe weakness, the lack of explainability of their decisions, especially relevant in human-centric fields. We implement five state-of-the-art methodologies for explaining black-box machine learning models (LIME, PermutationSHAP, KernelSHAP, DiCE, CEM) and examine the strengths of each approach on the downstream task of student performance prediction for five massive open online courses. Our experiments demonstrate that the families of explainers do not agree with each other on feature importance for the same Bidirectional LSTM models with the same representative set of students. We use Principal Component Analysis, Jensen-Shannon distance, and Spearman's rank-order correlation to quantitatively cross-examine explanations across methods and courses. Furthermore, we validate explainer performance across curriculum-based prerequisite relationships. Our results come to the concerning conclusion that the choice of explainer is an important decision and is in fact paramount to the interpretation of the predictive results, even more so than the course the model is trained on. Source code and models are released at http://github.com/epfl-ml4ed/evaluating-explainers.

연구 동기 및 목표

• 교육 기계 학습 분야에서 해석 가능성 방법 간 비교 평가의 부족을 해결하기 위해.
• 여러 개의 MOOC에서 동일한 학생 성과 예측 모델에 대해 다양한 해석 방법이 기능 중요도 순서를 어떻게 평가하는지 조사하기 위해.
• 해석 방법이 과정의 커리큘럼 기반 사전 요구 조건 관계를 탐지할 수 있는지 평가하기 위해.
• 해석 신뢰성에 영향을 미치는 요인으로서 해석 방법 선택이 모델 또는 과정의 차이보다 어느 정도 영향을 미치는지 정량화하기 위해.
• 교육 AI에서 더 신뢰할 수 있고 일관성 있는 해석을 얻기 위해 실무자들이 해석 가능성 방법을 선택하는 데 도움을 주기 위해.

제안 방법

• 다섯 가지 최신 기술의 블랙박스 해석 가능성 방법—LIME, PermutationSHAP, KernelSHAP, DiCE, CEM—을 다섯 개의 MOOC 데이터셋에 훈련된 동일한 이중방향 LSTM 모델에 적용한다.
• 일致적인 비교를 위해 기능 중요도 점수를 전략적이고 균일하게 샘플링한 학생 집합 기반으로 [0,1]로 정규화한다.
• 해석 분포의 차원과 구조를 분석하기 위해 주성분 분석(PCA)을 사용한다.
• 다른 방법 간의 통계적 분산을 측정하기 위해 젠슨-쇼넬 거리를 계산한다.
• 해석 방법 간 기능 중요도 순서의 유사도를 평가하기 위해 스피어만의 순서상관관계를 사용한다.
• 기본적으로 사전 요구 조건 주간 관계가 알려진 MOOC에서 커리큘럼 기반 검증을 수행하여, 행동 특성만을 사용해 해석 방법이 이러한 종속성을 탐지할 수 있는지 테스트한다.

실험 결과

연구 질문

• RQ1 동일한 모델과 과정에 대해 서로 다른 해석 가능성 방법이 생성하는 설명은 얼마나 유사한가 (RQ1)?
• RQ2 다른 MOOC들 간에 설명 분포는 어떻게 양적 비교되는가 (RQ2)?
• RQ3 설명은 과정 커리큘럼의 알려진 사전 요구 조건 관계와 일치하는가 (RQ3)?
• RQ4 해석 방법 선택이 과정 또는 모델 아키텍처 선택보다 해석에 미치는 영향은 어느 정도인가?

주요 결과

• 동일한 모델과 과정에 대해 다섯 가지 해석 가능성 방법이 기능 중요도 분포를 상당히 다르게 생성하며, 방법 간 스피어만의 순서상관관계가 낮게 나타난다.
• LIME는 일관되게 희박하고 이질적인 기능 집합을 생성하여 다른 방법들과 가장 높은 젠슨-쇼넬 거리를 보이며, 높은 분산을 나타낸다.
• 해석 방법 선택이 모델이 훈련된 과정의 선택보다 기능 중요도 분포에 더 큰 영향을 미치며, 이는 해석 과정에서 해석 방법 선택의 극도로 중요한 역할을 한다는 것을 시사한다.
• 모든 평가된 방법이 부분적으로 주어진 주간 간 사전 요구 조건 관계를 탐지하지만, 후반 주(예: 주 9주)로 갈수록 성능이 저하되어 장기적 종속성에 대한 민감도가 낮아지는 것으로 나타났다.
• 근접한 행동 특성(최근 활동)은 항상 먼 과거 특성보다 중요도가 높게 평가되며, 이는 특성의 근접성과 인식된 중요도 사이에 강한 상관관계가 있음을 시사한다.
• 다른 점이 있음에도 불구하고, 모든 방법이 커리큘럼 구조와 어느 정도 일치하는 경향을 보이며, 행동 특성이 암묵적인 사전 요구 지식을 포함하고 있음을 시사하지만, 완벽하게는 아니다.