[論文レビュー] What is Interpretable? Using Machine Learning to Design Interpretable Decision-Support Systems

Owen Lahav, Nicholas Mastronarde+1 more|arXiv (Cornell University)|Nov 27, 2018

Explainable Artificial Intelligence (XAI)参考文献 18被引用数 12

ひとこと要約

本論文は、ブラックボックス機械学習モデルに対する臨床医の信頼を最大化するためのモデル解釈方法（例：特徴量の重要度、モデルの精度、患者固有のリスク感受性）を強化学習（RL）によって学習する臨床意思決定支援システム（DSS）を提案する。主な発見は、機械学習専門家がどの解釈方法が臨床医の信頼を高めるかを予測できないことであり、これは医療AIシステムにおける専門家の仮定と実際のユーザーの信頼の間にある重要なギャップを示している。

ABSTRACT

Recent efforts in Machine Learning (ML) interpretability have focused on creating methods for explaining black-box ML models. However, these methods rely on the assumption that simple approximations, such as linear models or decision-trees, are inherently human-interpretable, which has not been empirically tested. Additionally, past efforts have focused exclusively on comprehension, neglecting to explore the trust component necessary to convince non-technical experts, such as clinicians, to utilize ML models in practice. In this paper, we posit that reinforcement learning (RL) can be used to learn what is interpretable to different users and, consequently, build their trust in ML models. To validate this idea, we first train a neural network to provide risk assessments for heart failure patients. We then design a RL-based clinical decision-support system (DSS) around the neural network model, which can learn from its interactions with users. We conduct an experiment involving a diverse set of clinicians from multiple institutions in three different countries. Our results demonstrate that ML experts cannot accurately predict which system outputs will maximize clinicians' confidence in the underlying neural network model, and suggest additional findings that have broad implications to the future of research into ML interpretability and the use of ML in medicine.

研究の動機と目的

• 機械学習解釈性研究において、解釈可能だとされる要因についての仮定が最終ユーザーに対して検証されていないという問題に対処する。
• 強化学習が、非専門家ユーザー（例：臨床医）の間で信頼を高めるのに効果的なモデル解釈の種類を学習できるかどうかを調査する。
• 臨床医の実際の信頼反応と、機械学習専門家がどの解釈が信頼を高めるかと予測するかを比較する。
• モデルに関する情報量を増やすことで常に信頼が向上するのか、あるいは情報過多によって信頼が低下するのかを検討する。

提案手法

• MAGGICデータセットを用いて、心不全患者の1年生存率予測を目的とした深層ニューラルネットワークを学習した。
• 強化学習に基づくDSSを設計し、解釈モジュールと支援証拠（例：データソース、モデル精度、特徴量感受性）の動的シーケンスを臨床医に提示した。
• RLエージェントは、臨床医の自己報告による信頼度を最大化するシーケンスを最適化し、探索と活用の両方を可能にする多腕バンディット手法（UCB1）を用いた。
• 臨床医はDSSと対話し、各シーケンスの後に信頼度を評価した。一方、機械学習専門家はどのシーケンスが信頼を高めるかを予測した。
• 一般モデル証拠（例：訓練データ、モデル性能）と患者固有のシナリオ（例：特徴量感受性、予測結果）の両方を評価した。
• 信頼度スコアは[0,1]に正規化され、臨床医の反応と機械学習専門家の期待との間に統計的比較が行われた。

実験結果

リサーチクエスチョン

• RQ1 強化学習は、ブラックボックス機械学習モデルに対する臨床医の信頼を最大化する解釈モジュールと支援証拠の組み合わせを効果的に特定できるか？
• RQ2 機械学習専門家は、臨床医の信頼度を高める解釈方法をどの程度正確に予測できるか？
• RQ3 モデルに関する情報（例：データ、手法、精度）を増やすことで常にユーザーの信頼が向上するのか、それとも情報過多によって信頼が低下するのか？
• RQ4 特徴量感受性、予測結果、モデル性能指標といった異なる種類の証拠は、臨床医がモデルに対して感じる信頼度にどのように影響するか？

主な発見

• 機械学習専門家は、臨床医の信頼度を最大化する証拠シーケンスを一貫して誤って予測しており、特にモデル手法と特徴量感受性の影響に関する期待に顕著な不一致が見られた。
• 臨床医は、特徴量感受性（例：患者の特徴量を変更したときのリスクへの影響）にインタラクティブにアクセスできるシーケンスに対してより高い信頼度を報告したが、機械学習専門家は逆の予測をしていた。
• 第1部の最も長い証拠シーケンス（H）では、平均的な信頼度が短いシーケンスよりも低く、情報過多が信頼を低下させる可能性があることを示している。
• 患者固有のリスク感受性と予測結果を含むシーケンスは、信頼度にわずかな影響しか与えず、臨床医が静的予測報告よりもインタラクティブな理解を優先していることを示唆している。
• RLによってガイドされたDSS設計は、機械学習専門家が予測できない高信頼度証拠シーケンスを効果的に同定した。これは、ユーザーを含めた学習の価値を示している。
• 結果は、単純なモデルや標準的な解釈モジュール（例：LIME、決定木）が本質的に解釈可能であるという仮定を覆しており、解釈可能性の主観性と文脈依存性を強調している。