[논문 리뷰] Deepchecks: A Library for Testing and Validating Machine Learning Models and Data

Shir Chorev, Philip Tannor외 8명|arXiv (Cornell University)|2022. 03. 16.

Machine Learning and Data Classification인용 수 16

한 줄 요약

Deepchecks는 머신러닝 모델과 데이터를 자동화된 검사, 조건, 세트를 통해 검증하는 종합적이고 확장 가능한 프레임워크를 제공하는 파이썬 라이브러리입니다. ML 라이프사이클 전반에 걸쳐 통합된 검사를 통해 데이터 드리프트, 데이터 누출, 개념 드리프트, 모델 성능 저하와 같은 문제를 탐지하며, scikit-learn, PyTorch 및 타뷸라 데이터 워크플로우와의 호환성을 지원합니다.

ABSTRACT

This paper presents Deepchecks, a Python library for comprehensively validating machine learning models and data. Our goal is to provide an easy-to-use library comprising of many checks related to various types of issues, such as model predictive performance, data integrity, data distribution mismatches, and more. The package is distributed under the GNU Affero General Public License (AGPL) and relies on core libraries from the scientific Python ecosystem: scikit-learn, PyTorch, NumPy, pandas, and SciPy. Source code, documentation, examples, and an extensive user guide can be found at \url{https://github.com/deepchecks/deepchecks} and \url{https://docs.deepchecks.com/}.

연구 동기 및 목표

• 생산 환경에서 모델 장애가 고비용 영향을 미칠 수 있는 상황에서 시스템적 검증의 부재를 해결하기 위해.
• 데이터 드리프트, 데이터 누출, 모델 성능 저하와 같은 일반적인 머신러닝 문제를 탐지하기 위한 통합적이고 확장 가능한 프레임워크를 제공하기 위해.
• 학습 전 데이터 무결성 검사부터 학습 후 모델 평가 및 모니터링에 이르기까지 ML 라이프사이클 전반에 걸친 종단 간 검증을 지원하기 위해.
• 기존 머신러닝 워크플로우에 통합된 자동화된 사용자 정의 가능한 검사 및 조건을 통해 문제를 조기에 탐지하고 진단할 수 있도록 지원하기 위해.
• 민감한 도메인에서 모델의 신뢰성과 신뢰성을 향상시키기 위해, 체계적이고 오픈소스 기반의 모델 및 데이터 검증 솔루션을 제공하기 위해.

제안 방법

• 라이브러리는 검사, 조건, 세트, 데이터/모델 컨테이너의 네 가지 핵심 구성 요소를 중심으로 구성되어 있어 모듈러하고 조합 가능한 검증을 가능하게 합니다.
• 검사는 데이터 또는 모델 행동의 특정 측면을 분석하는 재사용 가능한 검증 단위로, 분포 드리프트, 데이터 무결성, 성능 메트릭스 등의 분석이 포함됩니다.
• 조건은 임계값 또는 논리 기준에 따라 통과/실패/경고 상태를 반환하는 검사에 연결된 검증 규칙으로, 자동화된 검증을 가능하게 합니다.
• 세트는 함께 실행될 수 있는 검사와 조건의 순서가 지정된 컬렉션으로, 모델 및 데이터 검증을 위한 종합적인 요약 보고서를 생성합니다.
• 라이브러리는 scikit-learn, PyTorch, pandas, NumPy, SciPy와 같은 표준 머신러닝 생태계와 통합되어 있어 일반적인 머신러닝 워크플로우와의 호환성을 보장합니다.
• 검사는 지능적인 기법을 사용하며, 예를 들어 수치적 드리프트 분석에 대해 지구 이동 거리(EMD)를, 범주형 특성에 대해 인구 안정성 지수(PSI)를, 특성 중요도 분석에 대해 순열 중요도를 사용합니다.

실험 결과

연구 질문

• RQ1 학습 전 모델 훈련에서 데이터 무결성 문제를 체계적으로 검증하는 방법은 무엇인가요?
• RQ2 실제 모델 배포 환경에서 데이터 드리프트와 개념 드리프트를 탐지할 수 있는 자동화된 메커니즘은 무엇인가요?
• RQ3 오버피팅 또는 언더피팅을 탐지하기 위해 모델 성능을 단순 기준 모델과 비교 평가하는 방법은 무엇인가요?
• RQ4 조건과 임계값이 진단 검사를 행동 가능한 검증 규칙으로 전환하는 데 어떤 역할을 하나요?
• RQ5 다양한 파이프라인 단계에서 다양한 머신러닝 사용 사례를 지원할 수 있도록 모듈러하고 확장 가능한 프레임워크를 설계하는 방법은 무엇인가요?

주요 결과

• Deepchecks는 테스트 샘플이 훈련 세트에 포함되어 있는지 확인함으로써 데이터 누출을 탐지할 수 있으며, 이는 흔히 간과되지만 중요한 문제입니다.
• 지구 이동 거리(EMD)와 인구 안정성 지수(PSI)와 같은 메트릭스를 사용하여 훈련 세트와 테스트 세트 간의 분포 드리프트를 탐지합니다.
• 중복 샘플, 일관되지 않은 데이터 유형, 유일한 값이 하나뿐인 특성과 같은 데이터 무결성 문제를 탐지합니다.
• 단일 결정 트리와 같은 단순 기준 모델과의 성능 벤치마킹을 통해 모델 평가를 지원합니다.
• 조건은 정의된 임계값에 따라 통과, 실패 또는 경고 상태를 반환함으로써 자동화된 검증을 가능하게 하며, 예를 들어 5퍼센트 이상의 중복 샘플을 경고로 표시하는 식입니다.
• 프레임워크는 확장 가능하며, XGBoost, LightGBM, CatBoost, PyTorch와 같은 인기 있는 머신러닝 프레임워크를 표준 scikit-learn API 관례를 따르며 통합 지원합니다.