[논문 리뷰] Benchmarking and Survey of Explanation Methods for Black Box Models

Francesco Bodria, Fosca Giannotti외 4명|arXiv (Cornell University)|2021. 02. 25.

Explainable Artificial Intelligence (XAI)인용 수 54

한 줄 요약

이 논문은 설명의 유형과 데이터 형식(표형, 이미지, 텍스트)에 따른 블랙박스 모델의 설명 방법을 분류하고, 이를 질적 및 양적으로 벤치마크하며, 모델과 적합한 설명자 간의 매핑과 재현 가능한 평가 프레임워크를 제시합니다.

ABSTRACT

The widespread adoption of black-box models in Artificial Intelligence has enhanced the need for explanation methods to reveal how these obscure models reach specific decisions. Retrieving explanations is fundamental to unveil possible biases and to resolve practical or ethical issues. Nowadays, the literature is full of methods with different explanations. We provide a categorization of explanation methods based on the type of explanation returned. We present the most recent and widely used explainers, and we show a visual comparison among explanations and a quantitative benchmarking.

연구 동기 및 목표

• 설명 유형과 데이터 형식(표형, 이미지, 텍스트)에 기반한 새로운 온톨로지/분류를 제시한다.
• 가장 최근에 널리 사용되는 설명자를 조사하고 질적 및 양적 비교를 제시한다.
• 충실도, 안정성, 로버스트니스, 실행 시간에서 설명자를 벤치마킹하고 블랙박스 모델을 호환 가능한 설명자에 매핑한다.
• 설명 방법 선택에 대한 가이드라인과 평가 프레임워크를 통해 신뢰할 수 있는 AI를 촉진한다.

제안 방법

• 설명 유형과 데이터 형식에 따라 XAI 방법의 온톨로지를 구축하기 위해 설명을 분류한다.
• 가용한 구현이 있는 최신 널리 채택된 설명자를 검토하고 요약한다(2018년 이후).
• 결과 해석을 돕기 위해 방법 간 결과를 질적으로 비교한다.
• 대표적인 데이터셋을 사용하여 충실도, 안정성, 로버스트니스 및 런타임에 초점을 맞춘 양적 벤치마킹을 수행한다.
• 공개 코드베이스(XAI-Survey)와 표준 하드웨어에서의 실험 설정으로 재현 가능성을 입증한다.

실험 결과

연구 질문

• RQ1 블랙박스 모델에 대해 설명 유형과 데이터 형식으로 방법을 어떻게 분류할 수 있는가?
• RQ2 일반적인 데이터 유형(표형, 이미지, 텍스트)과 모델에서 선도적인 설명 방법은 얼마나 충실하고, 안정적이며, 효율적인가?
• RQ3 실무자가 주어진 블랙박스 모델을 호환 가능한 설명자로 매핑하여 투명성과 신뢰 요구를 만족시킬 수 있는가?
• RQ4 설명자들의 강점과 한계를 가장 잘 드러내는 데이터셋, 작업 및 평가 프로토콜은 무엇인가?
• RQ5 XAI 벤치마킹에서 재현성의 역할은 무엇이며 이를 어떻게 촉진할 수 있는가?

주요 결과

• 표형, 이미지 및 텍스트 데이터 전반에 걸친 설명 방법의 포괄적 분류(온톨로지)를 제공한다.
• 질적 및 양적 벤치마크로 널리 사용되는 설명자를 요약하고 비교한다.
• 충실도, 안정성, 로버스트니스 및 효율성 간의 trade-off를 이해하기 위한 실용적 가이드를 강조한다.
• 설명을 벤치마크하기 위한 재현 가능한 평가 프레임워크와 공개 코드베이스를 제공한다.
• 설명 가능성 벤치마킹과 방법론의 향후 연구를 위한 격차와 방향을 식별한다.