[논문 리뷰] Quantus: An Explainable AI Toolkit for Responsible Evaluation of Neural Network Explanations and Beyond

Anna Karin Hedström, Leander Weber외 6명|arXiv (Cornell University)|2022. 02. 14.

Explainable Artificial Intelligence (XAI)인용 수 118

한 줄 요약

Quantus는 신경망 설명을 정량적으로 평가하기 위한 평가 지표의 대규모 모음을 제공하는 오픈 소스 파이썬 도구 모음으로, 재현성과 책임 있는 XAI를 촉진합니다.

ABSTRACT

The evaluation of explanation methods is a research topic that has not yet been explored deeply, however, since explainability is supposed to strengthen trust in artificial intelligence, it is necessary to systematically review and compare explanation methods in order to confirm their correctness. Until now, no tool with focus on XAI evaluation exists that exhaustively and speedily allows researchers to evaluate the performance of explanations of neural network predictions. To increase transparency and reproducibility in the field, we therefore built Quantus -- a comprehensive, evaluation toolkit in Python that includes a growing, well-organised collection of evaluation metrics and tutorials for evaluating explainable methods. The toolkit has been thoroughly tested and is available under an open-source license on PyPi (or on https://github.com/understandable-machine-intelligence-lab/Quantus/).

연구 동기 및 목표

• XAI 방법에 대한 표준화되고 정량적인 평가 절차의 부족을 해결한다.
• 설명의 평가를 자동화하기 위한 포괄적이고 확장 가능한 도구 키트를 제공한다.
• 많은 지표와 가이드라인을 제공하여 XAI의 투명성과 재현성을 향상시킨다.

제안 방법

• 신뢰성, 강건성, 로컬라이제이션, 복잡도, 무작위화, 공리적 범주에 걸친 30+ 참조 지표를 선별하고 구현한다.
• 지표를 여섯 가지 평가 카테고리로 구성하고 사용 방법과 주의점을 문서화한다.
• 깊은 학습 프레임워크(예: PyTorch, TensorFlow)와 평가 루틴을 연결하는 추상 API 계층을 제공한다.
• 튜토리얼, 예제 및 확장과 지표 생성을 손쉽게 지원하는 설계를 제공한다.
• 코드 신뢰성을 보장하기 위한 품질 관리(테스트, CI, flake8, mypy, black)를 도입한다.

실험 결과

연구 질문

• RQ1 XAI 설명을 표준화되고 확장 가능한 방식으로 어떻게 정량적으로 평가할 수 있는가?
• RQ2 어떤 지표가 설명의 서로 다른 특성(충실성, 강건성, 로컬라이제이션 등)을 가장 잘 포착하는가?
• RQ3 평가 지표의 매개변수화가 결과와 설명 방법 간의 비교에 어떤 영향을 미치는가?

주요 결과

• Quantus는 여러 평가 카테고리에 걸쳐 광범위한 지표(초기 주장에선 27개 이상)를 수집하여 설명 간의 전체적 비교를 가능하게 한다.
• 도구 모음은 지표 사용에 대한 가이드라인, 잠재적 함정, 매개변수 선택이 순위에 미치는 영향을 설명하는 민감도 분석을 제공한다.
• Quantus는 사전에 계산된 설명의 한 줄 평가와 모델 학습 워크플로우와의 쉬운 통합을 가능하게 하는 추상적이고 사용자 친화적인 API를 특징으로 한다.
• 문서화 및 튜토리얼은 다양한 사용 사례, 데이터 도메인 및 작업을 지원하여 재현성과 접근성을 강조한다.