[論文レビュー] dalex: Responsible Machine Learning with Interactive Explainability and Fairness in Python

Hubert Baniecki, Wojciech Kretowicz+3 more|arXiv (Cornell University)|Dec 28, 2020

Explainable Artificial Intelligence (XAI)被引用数 73

ひとこと要約

dalex は、対話型の説明可能性と公正性のためのモデル非依存インターフェースを備えた統合的な Python パッケージを提供し、複数の手法を統合し、エンドツーエンドの責任ある ML のダッシュボードを可能にします。

ABSTRACT

The increasing amount of available data, computing power, and the constant pursuit for higher performance results in the growing complexity of predictive models. Their black-box nature leads to opaqueness debt phenomenon inflicting increased risks of discrimination, lack of reproducibility, and deflated performance due to data drift. To manage these risks, good MLOps practices ask for better validation of model performance and fairness, higher explainability, and continuous monitoring. The necessity of deeper model transparency appears not only from scientific and social domains, but also emerging laws and regulations on artificial intelligence. To facilitate the development of responsible machine learning models, we showcase dalex, a Python package which implements the model-agnostic interface for interactive model exploration. It adopts the design crafted through the development of various tools for responsible machine learning; thus, it aims at the unification of the existing solutions. This library's source code and documentation are available under open license at https://python.drwhy.ai/.

研究の動機と目的

• 不透明な ML モデルと、差別、再現性の問題、データドリフトなどの関連リスクに対処する。
• Python における説明可能性と公正性のための統一された、モデル非依存のインターフェースを提供する。
• 対話的な分析とモデル比較を促進し、責任ある ML 実践を支援する。

提案手法

• dalex.Explainer クラスを、さまざまなモデルとデータAPI上の統一的な抽象化として導入する。
• モデルレベルと予測レベルの説明を提供し、共通インターフェースを介して外部の説明（例：SHAP、LIME）を統合する。
• fairness オブジェクトと fairness_check メソッドを介して、テキストおよびビジュアル出力を伴う公正性チェックを組み込む。
• 説明と公正性分析を組み込んだライブモデル比較用の対話型 Arena ダッシュボードを提供する。
• Plotlyベースの可視化と、説明オブジェクト間で一貫した結果構造（DataFrame）を提供する。

実験結果

リサーチクエスチョン

• RQ1 さまざまな Python ML フレームワークの説明可能性と公正性の手法を、1つのインターフェースの下でどのように統一できるか？
• RQ2 対話型ダッシュボードは、公正性と精度に関してエンドツーエンドの理解とモデル比較を改善できるか？
• RQ3 共通の指標と可視化を用いてモデルの公正性を評価・伝達するメカニズムは何か？
• RQ4 モデル非依存のアーキテクチャは、外部の説明ツールの統合をどの程度促進できるか？
• RQ5 責任ある ML における説明責任、頑健性、安全性を高めるために、将来的な拡張は何が必要か？

主な発見

• dalex という名前の Python パッケージは、モデル、データ、説明を結ぶ統一抽象層（Explainer）を提供します。
• Dalex は、モデルレベルと予測レベルの説明の双方をサポートし、SHAP や LIME のような外部の説明ツールを共通 API 経由で組み込むことができます。
• 公正性チェックが実装されており、fairness オブジェクトと fairness_check メソッドを介して、テキストおよびビジュアル出力で呼び出すことができます。
• 対話型 Arena ダッシュボードは、説明可能性と公正性分析を伴うライブのモデル比較を可能にし、再現性のために保存できます。
• このパッケージは、単一のフレームワーク内で説明、公正性、対話性を統合することにより、エンドツーエンドの責任ある ML を強調します。