[論文レビュー] Shedding Light on Black Box Machine Learning Algorithms: Development of an Axiomatic Framework to Assess the Quality of Methods that Explain Individual Predictions

Milo Honegger|arXiv (Cornell University)|Aug 15, 2018

Explainable Artificial Intelligence (XAI)参考文献 22被引用数 36

ひとこと要約

本学位論文は、ブラックボックス機械学習モデルにおける個々の予測の説明手法の品質を評価する公理的枠組みを構築する。説明手法の望ましい性質を公理の集合として形式化することにより、この枠組みは説明の品質を体系的かつ一貫して評価・比較可能にし、実践的なモデルの解釈可能性評価のための原理的基盤を提供する。

ABSTRACT

From self-driving vehicles and back-flipping robots to virtual assistants who book our next appointment at the hair salon or at that restaurant for dinner - machine learning systems are becoming increasingly ubiquitous. The main reason for this is that these methods boast remarkable predictive capabilities. However, most of these models remain black boxes, meaning that it is very challenging for humans to follow and understand their intricate inner workings. Consequently, interpretability has suffered under this ever-increasing complexity of machine learning models. Especially with regards to new regulations, such as the General Data Protection Regulation (GDPR), the necessity for plausibility and verifiability of predictions made by these black boxes is indispensable. Driven by the needs of industry and practice, the research community has recognised this interpretability problem and focussed on developing a growing number of so-called explanation methods over the past few years. These methods explain individual predictions made by black box machine learning models and help to recover some of the lost interpretability. With the proliferation of these explanation methods, it is, however, often unclear, which explanation method offers a higher explanation quality, or is generally better-suited for the situation at hand. In this thesis, we thus propose an axiomatic framework, which allows comparing the quality of different explanation methods amongst each other. Through experimental validation, we find that the developed framework is useful to assess the explanation quality of different explanation methods and reach conclusions that are consistent with independent research.

研究の動機と目的

• ブラックボックス機械学習モデルにおけるローカル説明手法の標準化された評価基準の欠如に対処すること。
• 論理的整合性と信頼性を保証する公理の集合を通じて、説明手法の望ましい性質を形式化すること。
• 個々の予測の説明の品質を評価する体系的で理論的根拠に基づくアプローチを提供すること。
• 実世界のML応用における強固で信頼できる説明手法の開発と選定を支援すること。
• 理論的望ましさと実際の評価の間のギャップを埋めること。

提案手法

• 説明手法に必要な最小限の必須性質を定義する形式的公理的システムに基づく枠組み。
• 主な公理には忠実性（fidelity）、局所的正確性（local accuracy）、安定性（stability）が含まれ、説明が予測点周辺でのモデルの挙動を反映していることを保証する。
• 論理的および定量的検証を用いて、公理への適合度をチェックすることで説明の品質を評価する。
• 各公理を個別および組み合わせてテストする構造化された評価パイプラインを導入する。
• LIME や SHAP などの既存の説明手法にこの枠組みを適用し、公理的性質への適合度を評価する。
• 形式的論理に基づくアプローチにより、説明の品質評価を厳密に、再現可能かつ透明に可能にする。

実験結果

リサーチクエスチョン

• RQ1 信頼性があり意味のあるローカル説明手法が満たすべき核心的性質は何であるか？
• RQ2 ブラックボックスモデルにおける個々の予測の説明の品質を形式的に定義し、検証する方法は何か？
• RQ3 LIME や SHAP などの既存の説明手法が、提示された公理的基準をどの程度満たしているか？
• RQ4 公理的枠組みは、異なる説明手法を比較するための普遍的ベンチマークとして機能できるか？
• RQ5 公理の違反が、モデル説明の信頼性と解釈可能性にどのように影響するか？

主な発見

• 公理的枠組みは、摂動に対する一貫性の欠如といった、既存の説明手法における深刻な弱みを効果的に特定した。
• LIME は安定性公理に違反していることが判明し、入力の微小な変更に対しても説明が不安定であることが示された。
• SHAP は忠実性および局所的正確性公理への適合度が強く、局所的説明の信頼性がより高いことを示唆した。
• この枠組みにより、現在のいかなる手法も公理を完全に満たしていないことが明らかになり、説明手法の改善の必要性が浮き彫りになった。
• 公理的適合度評価プロセスは、透明性があり、再現可能で理論的根拠に基づいた説明品質評価手法を提供する。
• 本研究は、高リスク分野の応用において、公理的適合度が信頼できるモデル解釈のための必須条件であると確立した。