[論文レビュー] Deepchecks: A Library for Testing and Validating Machine Learning Models and Data

Shir Chorev, Philip Tannor+8 more|arXiv (Cornell University)|Mar 16, 2022

Machine Learning and Data Classification被引用数 16

ひとこと要約

Deepchecks は、機械学習のライフサイクル全体にわたって、自動化されたチェック、条件、スイートを通じて機械学習モデルとデータを検証する包括的で拡張可能なフレームワークを提供する Python ライブラリです。scikit-learn、PyTorch、およびテーブル形式のデータワークフローをサポートし、データドリフト、データ漏洩、コンセプトドリフト、モデルパフォーマンスの低下といった問題を、統合されたチェックによって検出します。

ABSTRACT

This paper presents Deepchecks, a Python library for comprehensively validating machine learning models and data. Our goal is to provide an easy-to-use library comprising of many checks related to various types of issues, such as model predictive performance, data integrity, data distribution mismatches, and more. The package is distributed under the GNU Affero General Public License (AGPL) and relies on core libraries from the scientific Python ecosystem: scikit-learn, PyTorch, NumPy, pandas, and SciPy. Source code, documentation, examples, and an extensive user guide can be found at \url{https://github.com/deepchecks/deepchecks} and \url{https://docs.deepchecks.com/}.

研究の動機と目的

• 機械学習パイプラインにおける体系的な検証の欠如に取り組むこと、特にモデルの失敗が深刻な影響を及える生産環境において。
• データドリフト、データ漏洩、モデルパフォーマンスの低下といった一般的な ML 問題を検出するための統一的で拡張可能なフレームワークを提供すること。
• データの完全性のチェックからトレーニング前、トレーニング後におけるモデルの評価および監視に至るまで、ML ライフサイクル全体にわたるエンドツーエンドの検証を支援すること。
• 既存の ML ワークフローに統合可能な自動化され、カスタマイズ可能なチェックと条件を用いて、早期に問題を検出し、診断できるようにすること。
• モデルとデータの検証のための体系的でオープンソースのソリューションを提供することで、感受性の高い分野におけるモデルの信頼性と信頼性を向上させること。

提案手法

• ライブラリは、チェック、条件、スイート、データ/モデルコンテナの4つのコアコンponentで構成されており、モジュール化され、組み合わせ可能な検証を可能にしています。
• チェックは、データやモデル動作の特定の側面（例：分布のずれ、データの完全性、パフォーマンス指標）を分析する再利用可能な検証ユニットです。
• 条件は、しきい値や論理的基準に基づいて、チェックに紐付いた検証ルールであり、通過／失敗／警告のステータスを返すことで、自動検証を可能にします。
• スイートは、順序付きに並べられたチェックと条件のコレクションであり、モデルおよびデータ検証の包括的な要約レポートを生成するのに使用されます。
• ライブラリは、scikit-learn、PyTorch、pandas、NumPy、SciPy といった標準的な ML エコシステムと統合されており、一般的な ML ワークフローとの互換性を確保しています。
• チェックは、数値的ドリフトには Earth Mover’s Distance、カテゴリカル特徴には Population Stability Index、特徴の重要度には permutation importance といった、確立された技術を用いています。

実験結果

リサーチクエスチョン

• RQ1 トレーニング前の段階で、データの完全性に関する問題を検出できるように、機械学習ワークフローを体系的に検証する方法は何か？
• RQ2 実際のモデルデプロイメントにおいて、データドリフトおよびコンセプトドリフトを検出する自動メカニズムは何か？
• RQ3 過学習やアンダーフィットを検出するために、単純なベースラインと比較してモデルパフォーマンスを評価・ベンチマーク化する方法は何か？
• RQ4 条件としきい値は、診断用チェックを実行可能な検証ルールに変換するために果たす役割は何か？
• RQ5 さまざまなパイプライン段階における多様な ML ユースケースをサポートするため、モジュラーで拡張可能なフレームワークを設計する方法は何か？

主な発見

• Deepchecks は、テストデータにトレーニングセットに含まれるサンプルが存在するかどうかを特定することで、データ漏洩を検出可能です。これは一般的ではあるが、しばしば見過ごされがちな問題です。
• Earth Mover’s Distance や Population Stability Index といった指標を用いて、トレーニングセットとテストセット間の分布のずれを同定しています。
• 重複するサンプル、不一致するデータ型、および一意の値が1つしかない特徴といった、データの完全性に関する問題を検出しています。
• 単一の決定木などの単純なベースラインと比較したパフォーマンスのベンチマークを通じて、モデルの評価をサポートしています。
• 条件は、例えば重複サンプルが5％を超える場合に警告を発するといった、事前に定義されたしきい値に基づいて、通過、失敗、警告のステータスを返すことで、自動検証を可能にします。
• フレームワークは拡張可能であり、XGBoost、LightGBM、CatBoost、PyTorch といった人気の ML フレームワークを、標準的な scikit-learn API の慣習に従って統合できます。