[論文レビュー] Model-Agnostic Interpretability of Machine Learning

Marco Túlio Ribeiro, Sameer Singh+1 more|arXiv (Cornell University)|Jun 16, 2016

Explainable Artificial Intelligence (XAI)参考文献 15被引用数 692

ひとこと要約

本論文は、機械学習の説明をモデル非依存の事後ツールとして扱うことを提唱し、説明が基盤モデルを制約する必要はなく、柔軟性・比較・ユーザー信頼を向上させ得ると主張する。さらに課題を論じ、実用的なアプローチとしてLIMEを強調する。

ABSTRACT

Understanding why machine learning models behave the way they do empowers both system designers and end-users in many ways: in model selection, feature engineering, in order to trust and act upon the predictions, and in more intuitive user interfaces. Thus, interpretability has become a vital concern in machine learning, and work in the area of interpretable models has found renewed interest. In some applications, such models are as accurate as non-interpretable ones, and thus are preferred for their transparency. Even when they are not accurate, they may still be preferred when interpretability is of paramount importance. However, restricting machine learning to interpretable models is often a severe limitation. In this paper we argue for explaining machine learning predictions using model-agnostic approaches. By treating the machine learning models as black-box functions, these approaches provide crucial flexibility in the choice of models, explanations, and representations, improving debugging, comparison, and interfaces for a variety of users and models. We also outline the main challenges for such methods, and review a recently-introduced model-agnostic explanation approach (LIME) that addresses these challenges.

研究の動機と目的

• 説明とモデルを分離することで柔軟性と有用性を高めるべきだと主張する。
• モデル非依存の説明が、解釈可能性を制御しつつ任意のモデルの使用を可能にすることを示す。
• 説明の種類、忠実度、および説明表現の柔軟性を強調する。
• モデル非依存の説明をデプロイする際の課題と実務的考慮事項を議論する。

提案手法

• 説明を事後的かつモデル非依存として扱い、モデルの柔軟性を維持することを提案する。
• 局所的忠実性目的を用いたモデル非依存の説明の形式的枠組みを定義する。
• ある事例を中心とした局所性の概念と、説明生成を導く近接度測度を導入する。
• LIMEを、ブラックボックス予測子を局所的に近似する単純で解釈可能なモデルを学習する具体的な実装例として説明する。
• 異なる解釈可能なモデルクラスと複雑さ制約を用いて説明を導出できることを示す。
• 一貫した説明表現を用いてモデルを比較する能力について論じる。

実験結果

リサーチクエスチョン

• RQ1 解釈可能性のために、説明をモデリングプロセスから分離すべき理由は何か（モデル-アグノスティシズム）？
• RQ2 解釈可能なモデルを予測子そのものとする必要なく、任意の分類器に対して局所的に忠実な説明をどのように生成できるか？
• RQ3 モデル非依存の説明の課題と限界は何か、そしてLIMEのような方法はそれらにどう対処できるか？
• RQ4 説明を異なるユーザーと表現に合わせつつ、元のモデルへの忠実性を維持するにはどうすればよいか？
• RQ5 モデル非依存の説明はコストを低く抑えつつモデルの比較と切替えを促進できるか？

主な発見

• モデル非依存の説明は、任意のモデルを使用する柔軟性と解釈可能な表現を提供する。
• 局所的な説明は、特定の事例の近傍でモデルに対して忠実であり得るが、全体的な忠実性は実現不能である場合でも成り立つ。
• LIMEは、解釈可能性の制約の下で非忠実さを最小化する局所的説明モデルを最適化することで、実践的な枠組みを提供する。
• 説明を異なる説明ファミリと複雑さの指標を用いて生成でき、説明性を目的に合わせて調整できる。
• このアプローチは表現の柔軟性を支持し、テキストモデルでは語彙、画像モデルではスーパーピクセルなど、基盤となる特徴空間に依存せずに説明を提供できる。
• モデル非依存の説明は、一貫した説明手法を用いてモデルの比較と切替を促進する。