[論文レビュー] Explainable Multi-class Classification of the CAMH COVID-19 Mental Health Data

YuanZheng Hu, Marina Sokolova|arXiv (Cornell University)|May 27, 2021

Explainable Artificial Intelligence (XAI)参考文献 13被引用数 4

ひとこと要約

本研究では、CAMHのCOVID-19精神健康データセットを対象に、ランダムフォレスト（68.19％の正解率）と勾配ブースティング（68.08％の正解率）を用いた解釈可能なマルチクラス分類フレームワークを提示する。パンデミック期の精神健康に影響を与える要因を特定するために、後向きの解釈法（LIME）と事前型の解釈法（ジニ重要度）を比較した。本研究は、このデータセットに対する最初の解釈可能な機械学習研究であり、精神健康予測モデルの透明性に重点を置いている。

ABSTRACT

Application of Machine Learning algorithms to the medical domain is an emerging trend that helps to advance medical knowledge. At the same time, there is a significant a lack of explainable studies that promote informed, transparent, and interpretable use of Machine Learning algorithms. In this paper, we present explainable multi-class classification of the Covid-19 mental health data. In Machine Learning study, we aim to find the potential factors to influence a personal mental health during the Covid-19 pandemic. We found that Random Forest (RF) and Gradient Boosting (GB) have scored the highest accuracy of 68.08% and 68.19% respectively, with LIME prediction accuracy 65.5% for RF and 61.8% for GB. We then compare a Post-hoc system (Local Interpretable Model-Agnostic Explanations, or LIME) and an Ante-hoc system (Gini Importance) in their ability to explain the obtained Machine Learning results. To the best of these authors knowledge, our study is the first explainable Machine Learning study of the mental health data collected during Covid-19 pandemics.

研究の動機と目的

• パンデミック期における精神健康に影響を与える要因を機械学習を用いて同定すること。
• マルチクラス精神健康分類のための解釈可能なAI手法の開発および比較すること。
• LIMEおよびジニ重要度のモデル予測の解釈性と性能を評価すること。
• 解釈可能な機械学習技術を用いて、透明性があり、信頼性のある精神健康予測を提供すること。
• 公衆衛生危機における解釈可能な精神健康モデリングの再現可能なフレームワークを貢献すること。

提案手法

• 精神健康状態のマルチクラス分類に、ランダムフォレスト（RF）および勾配ブースティング（GB）を適用した。
• 個々の予測を解釈するために、LIME（局所解釈可能なモデルに依存しない説明）を後向きの説明手法として使用した。
• 木構造に基づくモデルの特徴量貢献度を評価するため、ジニ重要度を事前型手法として採用した。
• CAMHのCOVID-19精神健康データセットを用いて、正解率指標によるモデル性能を評価した。
• 説明の忠実度を評価するために、LIMEの予測正解率（RFでは65.5％、GBでは61.8％）を元のモデルの正解率と比較した。
• 複数の分類クラスにわたる特徴量の重要度およびモデル行動の分析を実施した。

実験結果

リサーチクエスチョン

• RQ1 COVID-19パンデミック期におけるマルチクラス精神健康状態分類において、どの機械学習モデルが最高の正解率を達成するか？
• RQ2 LIMEのような後向きの解釈手法は、モデル出力の説明において予測の忠実度をどの程度保持しているか？
• RQ3 ジニ重要度のような事前型特徴量重要度手法は、後向き手法と比較して解釈性と信頼性においてどのように異なるか？
• RQ4 解釈可能なモデルによると、パンデミック期における精神健康に最も影響を与える要因は何か？
• RQ5 解釈可能な機械学習技術は、精神健康予測システムにおける信頼性と透明性を向上させることができるか？

主な発見

• ランダムフォレストは、マルチクラス精神健康分類で最高の正解率68.19％を達成した。
• 勾配ブースティングは68.08％の正解率を示し、本研究ではランダムフォレストをわずかに上回った。
• LIMEはRF予測の説明において65.5％の正解率を達成し、高い忠実度を示した。
• LIMEの正解率はGB予測の説明では61.8％に低下し、このモデルでは忠実度が低かった。
• ジニ重要度は再トレーニングやパラメータの摂動を必要とせず、安定した解釈可能な特徴量順位を提供した。
• 本研究は、CAMHのCOVID-19精神健康データセットに対して解釈可能な機械学習手法を初めて適用し、透明な精神健康モデリングの基盤を築いた。