[논문 리뷰] Software for Dataset-wide XAI: From Local Explanations to Global Insights with Zennit, CoRelAy, and ViRelAy

Christopher J. Anders, David Neumann외 3명|arXiv (Cornell University)|2021. 06. 24.

Explainable Artificial Intelligence (XAI)인용 수 31

한 줄 요약

본 논문은 데이터셋 전체 XAI를 수행하기 위해 세 가지 통합 소프트웨어 도구(Zennit, CoRelAy, ViRelAy)를 제시하며, 로컬 기여도, 확장 가능한 분석 파이프라인, 전역 인사이트를 위한 대화형 시각화를 가능하게 한다.

ABSTRACT

Deep Neural Networks (DNNs) are known to be strong predictors, but their prediction strategies can rarely be understood. With recent advances in Explainable Artificial Intelligence (XAI), approaches are available to explore the reasoning behind those complex models' predictions. Among post-hoc attribution methods, Layer-wise Relevance Propagation (LRP) shows high performance. For deeper quantitative analysis, manual approaches exist, but without the right tools they are unnecessarily labor intensive. In this software paper, we introduce three software packages targeted at scientists to explore model reasoning using attribution approaches and beyond: (1) Zennit - a highly customizable and intuitive attribution framework implementing LRP and related approaches in PyTorch, (2) CoRelAy - a framework to easily and quickly construct quantitative analysis pipelines for dataset-wide analyses of explanations, and (3) ViRelAy - a web-application to interactively explore data, attributions, and analysis results. With this, we provide a standardized implementation solution for XAI, to contribute towards more reproducibility in our field.

연구 동기 및 목표

• PyTorch에서 Layer-wise Relevance Propagation (LRP)의 다재다능한 구현을 제공하여 강력한 로컬 설명을 가능하게 한다.
• 모듈식 파이프라인을 통해 확장 가능하고 재현 가능한 연구를 위한 데이터셋 전체 기여도 분석을 가능하게 한다.
• 데이터, 기여도, 임베딩, 클러스터를 연결하여 전역 인사이트를 제공하는 대화형 시각화 도구를 제공한다.
• 워크플로우 통합이 대형 모델과 데이터셋에서 편향되거나 인공적인 추론을 드러낼 수 있음을 시연한다.

제안 방법

• Zennit은 PyTorch에서 모듈 훅과 합성체를 사용하여 규칙 기반 기여도 산출(LRP 및 변형)을 계층에 매핑합니다.
• CoRelAy는 중간 결과를 재사용하기 위한 캐싱으로 데이터셟 전체 기여도 분석을 위한 실행 가능 분석 파이프라인(예: SpRAy)을 구성합니다.
• ViRelAy는 여러 프로젝트에 걸친 데이터, 기여도, 임베딩 및 클러스터링 결과를 탐색하는 웹 기반 인터페이스를 제공합니다.
• Canonizers는 적용 가능한 LRP 규칙을 가능하게 하기 위해 네트워크를 일시적으로 정규 형태로 변환합니다(예: BatchNorm을 인접한 계층으로 병합).
• Zennit은 구성 가능한 컬러 맵과 히트맵 저장을 포함하여 기여도 히트맵의 시각화를 지원합니다.
• CoRelAy는 임베딩, 클러스터링(KMeans, Spectral) 및 임베딩(TSNE, EigenDecomposition)을 결합한 파이프라인과 결과 캐싱을 포함합니다.
• ViRelAy는 HDF5에서 CoRelAy 출력을 로드하고 다중 프로젝트 비교를 지원하며 대화형 2D 임베딩과 보조 점수를 제공합니다.

실험 결과

연구 질문

• RQ1 로컬 설명과 글로벌 인사이트를 결합한 모듈식이고 재현 가능한 소프트웨어 스택으로 데이터셋 전체 XAI를 어떻게 가능하게 만들 수 있는가?
• RQ2 특성 기여도 분석 파이프라인을 자동화하고 그들의 글로벌 구조와 클러스터링을 시각화하는 데 필요한 도구는 무엇인가?
• RQ3 Canonizers와 규칙 맵이 일반적인 DNN 아키텍처와 계층에 LRP 적용 가능성을 확장시킬 수 있는가?
• RQ4 대규모 모델에서 체계적 편향이나 Clever Hans 효과의 발견을 대화형 시각화가 어떻게 촉진할 수 있는가?
• RQ5 통합된 작업 흐름이 XAI 연구의 재현성과 확장성에 어느 정도까지 기여할 수 있는가?

주요 결과

• 모듈식 스택(Zennit, CoRelAy, ViRelAy)은 로컬 기여도에서 글로벌 인사이트에 이르기까지 엔드-투-엔드 데이터셋 전체 XAI를 가능하게 한다.
• Canonizers와 합성체는 네트워크를 일시적으로 정규화하여 일반적인 아키텍처 전반에 걸쳐 LRP 적용 가능성을 확장한다.
• CoRelAy 파이프라인은 중간 결과를 효율적으로 재사용하여 SpRAy와 같은 확장 가능한 데이터셋 전체 분석을 가능하게 한다.
• ViRelAy는 다중 프로젝트에 걸친 데이터, 기여도, 임베딩, 클러스터의 대화형 탐색을 제공하여 해석 가능성과 협업을 향상시킨다.
• 이 워크플로우는 대형 데이터셋(예: ImageNet)에서 학습된 모델의 체계적으로 편향된 추론을 데이터셋 전체 분석을 통해 드러낼 수 있다.