[논문 리뷰] PiML Toolbox for Interpretable Machine Learning Model Development and Diagnostics

Agus Sudjianto, Aijun Zhang외 3명|arXiv (Cornell University)|2023. 05. 07.

Explainable Artificial Intelligence (XAI)인용 수 6

한 줄 요약

PiML은 감독 학습을 위한 해석 가능한 기계학습 모델 개발과 종합적인 진단 기능을 통합한 오픈소스 파이썬 툴박스입니다. 내재적으로 해석 가능한 모델(예: GAM, XGB1/XGB2, EBM)과 모델에 종속되지 않는 설명 기능(예: SHAP, LIME, PFI)을 지원하며, 정당성, 내구성, 신뢰성 테스트를 포함한 다양한 모델 진단 기능을 제공하여 금융 및 모델 리스크 관리 분야에서 저코드 및 고코드 환경에서의 엔드 투 엔드 워크플로우를 가능하게 합니다.

ABSTRACT

PiML (read $π$-ML, /`pai`em`el/) is an integrated and open-access Python toolbox for interpretable machine learning model development and model diagnostics. It is designed with machine learning workflows in both low-code and high-code modes, including data pipeline, model training and tuning, model interpretation and explanation, and model diagnostics and comparison. The toolbox supports a growing list of interpretable models (e.g. GAM, GAMI-Net, XGB1/XGB2) with inherent local and/or global interpretability. It also supports model-agnostic explainability tools (e.g. PFI, PDP, LIME, SHAP) and a powerful suite of model-agnostic diagnostics (e.g. weakness, reliability, robustness, resilience, fairness). Integration of PiML models and tests to existing MLOps platforms for quality assurance are enabled by flexible high-code APIs. Furthermore, PiML toolbox comes with a comprehensive user guide and hands-on examples, including the applications for model development and validation in banking. The project is available at https://github.com/SelfExplainML/PiML-Toolbox.

연구 동기 및 목표

• 은행 및 금융과 같은 고위험 분야에서 해석 가능하고 감사 가능한 기계학습 모델에 대한 증가하는 수요를 해결합니다.
• 모델 개발, 해석, 설명, 진단을 하나의 워크플로우에 통합하는 통합 프레임워크를 제공합니다.
• 내재적으로 해석 가능한 모델과 후행 설명 기법을 모두 지원하여 모델의 투명성을 확보합니다.
• 내부 모델 정보가 필요 없이도 정당성, 내구성, 신뢰성 등의 모델 진단을 가능하게 하여 MLOps에서의 품질 보증을 지원합니다.
• 생산 배포 및 검증을 위한 유연한 고코드 API를 통해 기존 MLOps 플랫폼과의 통합을 촉진합니다.

제안 방법

• 저코드 패널(인터랙티브 Jupyter 기반 워크플로우용)과 고코드 API를 모두 제공하는 이중 인터페이스 아키텍처를 제공합니다.
• GLM, GAM, Tree, XGB1/XGB2, EBM, GAMI-Net, ReLU-DNN 등 점점 증가하는 내재적으로 해석 가능한 모델 세트를 지원하며, 각각 글로벌 및 로컬 해석 기능을 내장하고 있습니다.
• 통합된 API를 제공합니다: `model_interpret()`는 글래스박스 모델의 해석을 위해, `model_explain()`은 후행 설명 기법(SHAP, LIME, PFI, PDP)을 위해, `model_diagnose()`는 모델에 종속되지 않는 진단을 위해, `model_compare()`는 다중 모델 평가를 위해 사용됩니다.
• 예측 인터페이스만으로도 사전 훈련된 모델(블랙박스 모델 포함)의 등록을 지원하여 전체 진단 및 설명 기능을 제공합니다.
• 데이터 기반 기법을 활용한 모델에 종속되지 않는 진단 기능을 구현합니다: 약한 지점 및 과적합 탐지용 1D/2D 슬라이싱, 신뢰성 테스트용 스플릿 컨포멀 예측, 내구성 및 복원력 테스트용 편향 기반 테스트.
• 불리함 진단을 위해 불리함 테스트, 버킷화, 임계값 설정을 지원하며, 편향 제거 옵션도 제공합니다.

실험 결과

연구 질문

• RQ1 해석 가능한 기계학습 모델은 어떻게 통합적이고 사용자 友好的한 프레임워크에서 체계적으로 개발되고 진단될 수 있는가?
• RQ2 모델에 종속되지 않는 진단 기법(예: 정당성, 내구성, 신뢰성)은 블랙박스 모델과 내재적으로 해석 가능한 모델 모두에 효과적으로 적용될 수 있는가?
• RQ3 단일 툴박스로 금융과 같은 규제 분야에서 저코드 및 고코드 워크플로우를 통합하여 모델 개발, 설명, 검증을 수행할 수 있는가?
• RQ4 약한 지점 탐지 및 스플릿 컨포멀 예측과 같은 진단 기법은 모델 신뢰성과 품질 보증을 어떻게 향상시키는가?
• RQ5 해석 가능한 모델과 진단 기능을 통합함으로써 금융 기관의 모델 리스크 관리에 어떤 영향을 미치는가?

주요 결과

• PiML은 GAM, XGB1/XGB2, EBM, GAMI-Net 등 다양한 내재적으로 해석 가능한 모델을 지원하며, 각각 내장된 글로벌 및 로컬 해석 기능을 제공합니다.
• 모델 내부 정보가 필요 없이도 1D/2D 슬라이싱 및 스플릿 컨포멀 예측과 같은 기법을 활용해 정당성, 내구성, 신뢰성 테스트와 같은 모델에 종속되지 않는 진단 기능을 제공합니다.
• PiML의 고코드 API는 MLOps 플랫폼과 네이티브로 호환되어 자동화된 품질 보증 파이프라인에 통합되어 모델 검증이 가능합니다.
• 2022년 5월 4일 첫 릴리스 이후 여러 금융 기관에서 PiML을 채택하여 실제 모델 리스크 관리 분야에서의 적용 가능성을 입증했습니다.
• `model_compare()`를 통한 모델 비교를 통해 그래픽 대시보드를 활용해 성능 및 진단 지표를 동시에 평가하고 모델 순위 매기기 및 선택이 가능합니다.
• v0.6 이상부터 예측 점수 기반의 가짜 모델 진단 기능을 도입하여 모델 객체에 직접 접근할 수 없는 모델의 진단 능력을 확장했습니다.