[論文レビュー] InterpretML: A Unified Framework for Machine Learning Interpretability

Harsha Nori, Samuel Jenkins+2 more|arXiv (Cornell University)|Sep 19, 2019

Explainable Artificial Intelligence (XAI)参考文献 16被引用数 316

ひとこと要約

InterpretML は、グラスボックスモデルとブラックボックスの説明を組み合わせた機械学習解釈可能性の統一された Python フレームワークを提供し、Explainable Boosting Machine（EBM）を導入します。

ABSTRACT

InterpretML is an open-source Python package which exposes machine learning interpretability algorithms to practitioners and researchers. InterpretML exposes two types of interpretability - glassbox models, which are machine learning models designed for interpretability (ex: linear models, rule lists, generalized additive models), and blackbox explainability techniques for explaining existing systems (ex: Partial Dependence, LIME). The package enables practitioners to easily compare interpretability algorithms by exposing multiple methods under a unified API, and by having a built-in, extensible visualization platform. InterpretML also includes the first implementation of the Explainable Boosting Machine, a powerful, interpretable, glassbox model that can be as accurate as many blackbox models. The MIT licensed source code can be downloaded from github.com/microsoft/interpret.

研究の動機と目的

• 統一 API を提供し、グラスボックスとブラックボックスのアプローチにまたがる解釈可能性アルゴリズムの比較を容易にする。
• interpretable models（グラスボックス）と model-agnostic explanations（ブラックボックス）を一貫したインターフェースで公開する。
• モデル解釈性の決定を支援するための可視化とダッシュボードベースの比較を可能にする。
• Explainable Boosting Machine（EBM）を正確で理解しやすいモデルとして導入・評価する。

提案手法

• 解釈可能性アルゴリズムの比較を容易にするために scikit-learn スタイルの API を採用する。
• 二つの解釈可能性の形態を提示する：グラスボックスモデル（本来的に解釈可能）とブラックボックスの説明（任意のパイプラインに対して）
• Explainable Boosting Machine（EBM）を導入する。特徴関数と任意の組み合わせ相互作用を学習する一般化加法モデル。
• マルチコリニアリティを緩和し、加法的な解釈可能性を保証するために、小さな学習率で特徴量をループ状にブーストする。
• EBM は C++/Python で実装され、ジョブリブによる並列化でスケーラブルな訓練と高速予測を実現。
• 個々の予測を解釈するための f_j(x_j) の特徴寄与の可視化を提供する。

実験結果

リサーチクエスチョン

• RQ1 解釈可能性アルゴリズムを統一 API の下で公開して比較を促進するにはどうすればよいか。
• RQ2 高度に解釈可能なグラスボックスモデル（EBM）が、最先端のブラックボックス手法と競合する予測性能を達成できるか。
• RQ3 EBM の訓練/予測の計算特性は、多様なデータセットに対して他のモデルと比較してどうか。
• RQ4 特徴寄与と相互作用を理解するための可視化と対話ツールはどれほど効果的か。

主な発見

• EBM は、複数のデータセットにおいて Random Forest や XGBoost などの最先端モデルと同等の予測性能を達成することが多い。
• 加法構造と単純な項のルックアップによる高速予測と低メモリ使用を実現するため、EBM は迅速な予測を提供する。
• 対を成す相互作用の自動的な包含をサポートし、解釈性を維持しつつ精度を向上させる。
• このフレームワークは複数の解釈可能性アルゴリズムの容易な比較を可能にし、対話的な可視化とダッシュボードを含む。
• EBM のデフォルトパラメータは速度を重視しており、最良の精度と解釈性のための推奨リファレンスパラメータを提供する。