[論文レビュー] Stop Explaining Black Box Machine Learning Models for High Stakes Decisions and Use Interpretable Models Instead

Cynthia Rudin|arXiv (Cornell University)|Nov 26, 2018

Explainable Artificial Intelligence (XAI)参考文献 47被引用数 44

ひとこと要約

論文は、高リスクの意思決定はブラックボックスモデルの説明に頼るのではなく、本質的に解釈可能なモデルに依存すべきであると主張し、説明可能な機械学習が flawed である理由と、解釈可能な機械学習をどのように開発・統治できるかを論じる。

ABSTRACT

Black box machine learning models are currently being used for high stakes decision-making throughout society, causing problems throughout healthcare, criminal justice, and in other domains. People have hoped that creating methods for explaining these black box models will alleviate some of these problems, but trying to extit{explain} black box models, rather than creating models that are extit{interpretable} in the first place, is likely to perpetuate bad practices and can potentially cause catastrophic harm to society. There is a way forward -- it is to design models that are inherently interpretable. This manuscript clarifies the chasm between explaining black boxes and using inherently interpretable models, outlines several key reasons why explainable black boxes should be avoided in high-stakes decisions, identifies challenges to interpretable machine learning, and provides several example applications where interpretable models could potentially replace black box models in criminal justice, healthcare, and computer vision.

研究の動機と目的

• 黒箱型MLを高リスク領域で説明する際の制限とリスクを明らかにする。
• デザイン上 faithful な説明を提供する本質的に解釈可能なモデルの使用を提唱する。
• 刑事司法や医療などの分野での解釈可能性の制約と利点を域特有に特定する。
• 解釈可能なMLを採用する際のガバナンス、政策的含意、実務的課題を討議する。

提案手法

• 説明可能なMLと本質的に解釈可能なモデルを批判的に比較し、説明と元のモデル間の忠実度の問題を論じる。
• CORELS の解釈可能なルールリストアプローチを、競争力のある精度を備えたスパースで解釈可能なモデルの例として提示する。
• ドメイン固有の制約の下で解釈可能なモデルを構築する際の アーキテクチャ上・最適化上の課題を概説する。
• 現実の領域におけるブラックボックスモデルと解釈可能な代替案との定性的比較を提供する。

実験結果

リサーチクエスチョン

• RQ1 高リスクタスクにおいて、本質的に解釈可能なモデルはブラックボックスモデルと同等の精度を達成できるか。
• RQ2 感度の高い領域で解釈可能なMLを採用する際の主要な実践的・ガバナンス上の障壁は何か。
• RQ3 スパース性、加法性、単調性、因果性などのドメイン知識を満たすよう、どのように解釈可能なモデルを構築できるか。
• RQ4 高リスクな意思決定におけるブラックボックスモデルのポストホック説明にはどのような限界があるか。
• RQ5 ブラックボックスから解釈可能なモデルへの移行を促す政策提案にはどんなものがあるか。

主な発見

• 説明可能なポストホック手法は、多くの場合忠実な近似説明を得られるのは条件付きであり、誤解を招くことがある。
• 意味のある特徴が用いられる場合、構造化データ設定において解釈可能なモデルはブラックボックスモデルと同等の予測性能を達成できる。
• 高リスクコンテキストで私有ブラックボックスモデルを展開する際には、重大なガバナンスとビジネスモデルの障壁が存在する。
• CORELS のような解釈可能なモデルは、単純で透明なルールが特定の再犯予測タスクで複雑なモデルに匹敵するパフォーマンスを示せることを示している。
• 政策と規制の観点は、ブラックボックス代替案と同等の性能を提供する場合に解釈可能なモデルの使用を義務付ける可能性がある。