[논문 리뷰] Explainable Multi-class Classification of the CAMH COVID-19 Mental Health Data

YuanZheng Hu, Marina Sokolova|arXiv (Cornell University)|2021. 05. 27.

Explainable Artificial Intelligence (XAI)참고 문헌 13인용 수 4

한 줄 요약

이 연구는 캐나다 모성건강연구소(CAMH)의 코로나19 정신건강 데이터셋을 대상으로 랜덤 포레스트(68.19% 정확도)와 기울기 부스팅(68.08% 정확도)를 사용한 다중 분류 프레임워크를 제시하며, 예측의 해석 가능성을 높이기 위해 사후적(LIME)과 사전적(Gini 중요도) 해석 방법을 비교한다. 이는 이 데이터셋에 대해 수행된 최초의 해석 가능한 기계학습 연구로, 패an데믹 기간 동안 정신건강에 영향을 미치는 핵심 요인을 규명하고, 정신건강 예측 모델의 투명성을 강조한다.

ABSTRACT

Application of Machine Learning algorithms to the medical domain is an emerging trend that helps to advance medical knowledge. At the same time, there is a significant a lack of explainable studies that promote informed, transparent, and interpretable use of Machine Learning algorithms. In this paper, we present explainable multi-class classification of the Covid-19 mental health data. In Machine Learning study, we aim to find the potential factors to influence a personal mental health during the Covid-19 pandemic. We found that Random Forest (RF) and Gradient Boosting (GB) have scored the highest accuracy of 68.08% and 68.19% respectively, with LIME prediction accuracy 65.5% for RF and 61.8% for GB. We then compare a Post-hoc system (Local Interpretable Model-Agnostic Explanations, or LIME) and an Ante-hoc system (Gini Importance) in their ability to explain the obtained Machine Learning results. To the best of these authors knowledge, our study is the first explainable Machine Learning study of the mental health data collected during Covid-19 pandemics.

연구 동기 및 목표

• 기계학습을 활용하여 코로나19 패안데믹 기간 동안 정신건강에 영향을 미치는 핵심 요인을 규명한다.
• 다중 분류 정신건강 분류를 위한 해석 가능한 AI 방법을 개발하고 비교한다.
• LIME와 Gini 중요도의 성능 및 해석 가능성에 대해 평가한다.
• 해석 가능한 기계학습 기법을 통해 투명하고 해석 가능하며 신뢰할 수 있는 정신건강 예측을 제공한다.
• 공중보건 위기 상황에서 해석 가능한 정신건강 모델링을 위한 재현 가능한 프레임워크를 기여한다.

제안 방법

• 다중 분류 정신건강 상태 예측을 위해 랜덤 포레스트(RF)와 기울기 부스팅(GB)을 적용한다.
• 개별 예측을 해석하기 위해 LIME(Local Interpretable Model-Agnostic Explanations)를 사후적 설명 방법으로 사용한다.
• 나무 기반 모델의 구조에 기반해 특성 기여도를 평가하기 위해 Gini 중요도를 사전적 방법으로 활용한다.
• CAMH 코로나19 정신건강 데이터셋을 대상으로 정확도 지표를 사용해 모델 성능을 평가한다.
• 모델의 원래 정확도와 비교하여 LIME의 예측 정확도(랜덤 포레스트 기준 65.5%, 기울기 부스팅 기준 61.8%)를 분석해 설명의 정밀도를 평가한다.
• 다양한 분류 클래스 간 특성 중요도 및 모델 행동을 분석한다.

실험 결과

연구 질문

• RQ1 코로나19 패안데믹 기간 동안 다중 분류 정신건강 상태를 분류하는 데 있어 어떤 기계학습 모델이 가장 높은 정확도를 달성하는가?
• RQ2 LIME와 같은 사후적 해석 방법은 모델 출력을 설명할 때 예측의 정밀도를 얼마나 잘 유지하는가?
• RQ3 Gini 중요도와 같은 사전적 특성 중요도 방법은 사후적 방법에 비해 해석 가능성과 신뢰성 측면에서 어떻게 비교되는가?
• RQ4 해석 가능한 모델에 따르면 패안데믹 기간 동안 정신건강에 가장 큰 영향을 미치는 요인는 무엇인가?
• RQ5 해석 가능한 기계학습 기법은 정신건강 예측 시스템의 신뢰도와 투명도를 향상시킬 수 있는가?

주요 결과

• 랜덤 포레스트는 다중 분류 정신건강 분류에서 최고의 정확도 68.19%를 기록했다.
• 기울기 부스팅은 이 연구에서 랜덤 포레스트를 略로 약간 뛰어넘는 68.08%의 정확도를 달성했다.
• LIME는 랜덤 포레스트 예측을 설명할 때 65.5%의 정확도를 기록하여 높은 정밀도를 보였다.
• LIME의 정확도는 기울기 부스팅 예측을 설명할 때 61.8%로 떨어져 이 모델에 대해 낮은 정밀도를 보였다.
• Gini 중요도는 재학습이나 변형 없이도 안정적이고 해석 가능한 특성 순위를 제공했다.
• 본 연구는 CAMH 코로나19 정신건강 데이터셋에 대해 해석 가능한 기계학습 기법을 적용한 최초의 연구로, 투명한 정신건강 모델링의 기반을 마련했다.