[論文レビュー] dalex: Responsible Machine Learning with Interactive Explainability and Fairness in Python

Hubert Baniecki, Wojciech Kretowicz+3 more|arXiv (Cornell University)|Dec 28, 2020

Explainable Artificial Intelligence (XAI)参考文献 27被引用数 30

ひとこと要約

dalexは、インタラクティブなダッシュボードを備えたモデル説明性と公正性の統一的なPythonインターフェースを提供し、エンドツーエンドの責任あるMLワークフローを可能にします。

ABSTRACT

The increasing amount of available data, computing power, and the constant pursuit for higher performance results in the growing complexity of predictive models. Their black-box nature leads to opaqueness debt phenomenon inflicting increased risks of discrimination, lack of reproducibility, and deflated performance due to data drift. To manage these risks, good MLOps practices ask for better validation of model performance and fairness, higher explainability, and continuous monitoring. The necessity of deeper model transparency appears not only from scientific and social domains, but also emerging laws and regulations on artificial intelligence. To facilitate the development of responsible machine learning models, we showcase dalex, a Python package which implements the model-agnostic interface for interactive model exploration. It adopts the design crafted through the development of various tools for responsible machine learning; thus, it aims at the unification of the existing solutions. This library's source code and documentation are available under open license at https://python.drwhy.ai/.

研究の動機と目的

• MLにおける不透明性の削減の動機づけと、その社会的・規制的影響。
• モデル、データ、および説明を結ぶ統一されたPythonインターフェースを提供する。
• モデルレベルおよび局所的な説明と公正性評価を有効にする。
• 人間とモデルの対話を支援する、対話的で比較可能なモデル分析を支援する。
• RのDALEXからPythonへの拡張により、エンドツーエンドの責任あるMLツールを提供する。

提案手法

• dalex.Explainerを、多様なモデルとデータAPIに対するモデル非依存の抽象化として導入する。
• 共通の結果形式（pandas.DataFrame）を共有し、plotlyでプロットされるモデルレベルおよび予測レベルの説明オブジェクトを提供する。
• 混同行列に基づく公正性指標に基づく fairnessCheck を実装する。
• 対話的で共有可能かつ再現性のあるモデル比較のためのArenaダッシュボードを提供する。
• exlainerインターフェースを通じた外部説明（例：SHAP、LIME）の統合を許可する。
• グループ説明やpredict_fairnessを含む今後の作業のロードマップを説明する。

実験結果

リサーチクエスチョン

• RQ1 統一的でモデル非依存のインターフェースは、異なるMLフレームワーク間で説明可能性と公正性をどのように促進できるか。
• RQ2 インタラクティブなダッシュボードは、MLモデル分析の再現性と透明性を向上させるか。
• RQ3 表形式データモデルの偏りを検出・説明するのに最も効果的な公正性指標は何か。
• RQ4 dalexはマルチ出力モデルや将来の公正性指標への説明性をどう拡張できるか。
• RQ5 統一インターフェース内で外部の説明ツールを統合するための実践的手順は何か。

主な発見

• dalexは、説明性と公正性のために、さまざまなMLフレームワークとデータAPIを結ぶ統一インターフェースを提供する。
• このパッケージには、モデルレベルおよび局所的な説明手法と、公正性評価のワークフローが含まれる。
• インタラクティブなArenaダッシュボードは比較的なモデル分析を可能にし、再現性のために保存できる。
• 公正性チェックは一般的な混同行列指標に依存し、記述的な出力とビジュアルを生成する。
• このライブラリは、SHAPやLIMEなどの外部説明器を統一ワークフローに統合することをサポートする。
• 本研究はDALEXのRパッケージをPythonに拡張・発展させ、言語を跨いだ連続性と拡張性を強調する。