[論文レビュー] Assessing the Stability of Interpretable Models.

Riccardo Guidotti, Salvatore Ruggieri|arXiv (Cornell University)|Oct 22, 2018

Explainable Artificial Intelligence (XAI)参考文献 24被引用数 6

ひとこと要約

本稿は、意思決定木やルールセット、線形モデルなどの本質的に解釈可能なモデルの解釈可能性に、データ選択バイアスがどのように影響するかを調査している。実験的分析を通じて、これらのモデルがバイアス下でも予測性能を維持する一方で、意思決定論理の明確さや一貫性という観点での解釈可能性が顕著に低下することを示しており、現実のデータ環境下でのモデルの透明性と耐性の間には、重要なギャップが存在することを明らかにしている。

ABSTRACT

Interpretable classification models are built with the purpose of providing a comprehensible description of the decision logic to an external oversight agent. When considered in isolation, a decision tree, a set of classification rules, or a linear model, are widely recognized as human-interpretable. However, such models are generated as part of a larger analytical process, which, in particular, comprises data collection and filtering. Selection bias in data collection or in data pre-processing may affect the model learned. Although model induction algorithms are designed to learn to generalize, they pursue optimization of predictive accuracy. It remains unclear how interpretability is instead impacted. We conduct an experimental analysis to investigate whether interpretable models are able to cope with data selection bias as far as interpretability is concerned.

研究の動機と目的

• 解釈可能なモデルがデータ選択バイアスの下でも解釈可能性を維持するかどうかを評価すること。
• データ収集および前処理のバイアスがモデルの意思決定論理の明確さに与える影響を調査すること。
• 人間の監視を想定したモデルにおける解釈可能性の安定性を評価すること。
• 異なる解釈可能なモデル（例：意思決定木、ルールセット、線形モデル）が偏ったデータに対してどのように反応するかを比較すること。

提案手法

• 制御された実験を用い、体系的なデータ選択バイアスがかかる合成データおよび実世界のデータセットを対象とする。
• 意思決定木、ルールセット、線形モデルといった解釈可能なモデルを、バイアスありおよびバイアスなしのデータサブセットで学習させる。
• バイアスレベルごとに意思決定論理の明確さと一貫性を人間による評価によって解釈可能性を評価する。
• 予測精度と解釈可能性の指標を、モデルタイプおよびバイアス条件ごとに測定・比較する。
• 現実のデータ収集の問題を模倣するため、データフィルタリングおよびサンプリング戦略を用いてバイアスを導入する。
• バイアスレベルと解釈可能性およびモデル性能の変化の相関関係を統計的分析により検証する。

実験結果

リサーチクエスチョン

• RQ1 データ選択バイアスは、意思決定木、ルールセット、線形モデルの解釈可能性にどのように影響するか？
• RQ2 解釈可能なモデルは、さまざまなレベルのデータバイアス下でも一貫した意思決定論理を保つことができるか、その程度はどの程度か？
• RQ3 異なる種類の解釈可能なモデル間で、解釈可能性の安定性はどのように比較できるか？
• RQ4 バイアス下での予測精度が向上するほど、解釈可能性が維持されるのか？

主な発見

• 解釈可能なモデルは、データ選択バイアスにさらされると、予測精度が安定している間でも、解釈可能性が顕著に低下することが判明した。
• 意思決定木とルールセットはバイアスに対して特に感受性が高く、しばしば一貫性のない、あるいは誤解を招く意思決定経路を生成する。
• 線形モデルはバイアス下でもより安定した解釈可能性を示すが、特徴量の重要度の解釈における明確さは依然として低下している。
• 本研究では、予測性能と解釈可能性の安定性の間に乖離が存在することを特定した。これは、高い精度が信頼できる解釈可能性を保証するわけではないことを示唆している。
• 人間の評価者たちは、モデルの種類に関係なく、バイアスがかかるモデルを透明性が低く、理解しにくいと一貫して評価した。
• 結果から、解釈可能性はデータバイアスに対して本質的に頑健ではないことが示唆され、実運用環境における解釈可能モデルの信頼性に関する仮定に疑問を呈するものである。