[논문 리뷰] Evaluating Explainers via Perturbation

Minh N. Vu, Truc Nguyen외 3명|arXiv (Cornell University)|2019. 06. 05.

Explainable Artificial Intelligence (XAI)참고 문헌 7인용 수 15

한 줄 요약

이 논문은 이미지 분류기의 특징 기반 설명가의 품질을 측정하기 위해 최소한의 변형 에너지가 모델의 예측을 변경하는 데 필요한지를 측정함으로써, 설명의 특징을 유지하면서도 모델의 예측을 바꾸는 데 필요한 최소한의 변형 강도를 측정하는 c-Eval이라는 새로운 지표를 소개한다. 이 방법은 변형 강도와 설명의 충실도 사이의 관계를 맺으며, c-Eval 플롯을 통해 다양한 데이터셋에서 저복잡도이고 종합적인 평가를 가능하게 한다.

ABSTRACT

Due to high complexity of many modern machine learning models such as deep convolutional networks, understanding the cause of model’s prediction is critical. Many explainers have been designed to give us more insights on the decision of complex classifiers. However, there is no common ground on evaluating the quality of different classification methods. Motivated by the needs for comprehensive evaluation, we introduce the c-Eval metric and the corresponding framework to quantify the explainer’s quality on feature-based explainers of machine learning image classifiers. Given a prediction and the corresponding explanation on that prediction, c-Eval is the minimum-power perturbation that successfully alters the prediction while keeping the explanation’s features unchanged. We also provide theoretical analysis linking the proposed parameter with the portion of predicted ob- ject covered by the explanation. Using a heuristic approach, we introduce the c-Eval plot, which not only displays a strong connection between c-Eval and explainers’ quality, but also serves as a low-complexity approach of assessing explainers. We finally conduct extensive experiments of explainers on three different datasets in order to support the adoption of c-Eval in evaluating explainers’ performance.

연구 동기 및 목표

• 복잡한 이미지 분류기에서 특징 기반 설명가에 대한 표준화된 평가 프레임워크의 부족을 해결하기 위해.
• 입력에 대한 변형에 대한 내성에 기반한 설명가의 품질을 정량적으로 측정할 수 있는 지표를 개발하기 위해.
• 변형 강도와 설명이 예측된 객체의 부분을 얼마나 커버하는지 사이의 이론적 연결 고리를 확립하기 위해.
• 다양한 모델과 데이터셋 간 설명가를 비교할 수 있는 실용적이고 저복잡도의 평가 도구—c-Eval 플롯—을 제공하기 위해.

제안 방법

• c-Eval는 설명의 특징을 유지하면서도 모델의 예측를 변경하는 데 필요한 최소 에너지의 변형으로 정의된다.
• 이 방법은 주어진 입력과 설명에 대해 c-Eval을 계산하기 위해 히우리스틱 최적화 접근법을 사용한다.
• 이론적 분석은 c-Eval이 설명이 예측된 객체의 비율을 얼마나 커버하는지와 연결되며, 변형 강도와 설명의 충실도 사이의 관계를 맺는다.
• c-Eval 플롯은 c-Eval 값을 여러 입력에 대해 그려 설명가 성능의 추세를 드러내는 시각화 도구로 도입된다.
• 이 프레임워크는 세 가지 다양한 이미지 분류 데이터셋에 대해 설명가를 평가하기 위해 적용되어 일반화 가능성의 타당성을 검증한다.
• 이 접근법은 기준 설명이 필요 없이 오직 변형 행동에 의존함으로써, 다양한 모델과 데이터셋 간 설명가의 비교를 가능하게 한다.

실험 결과

연구 질문

• RQ1 기준 설명이 없는 상황에서 특징 기반 설명가의 품질을 객관적으로 측정할 수 있는 방법은 무엇인가?
• RQ2 예측를 변경하기 위해 필요한 최소한의 변형과 설명의 충실도 사이의 관계는 무엇인가?
• RQ3 c-Eval 플롯은 다양한 모델과 데이터셋 간 설명가 성능의 차이를 효과적으로 드러낼 수 있는가?
• RQ4 c-Eval은 예측된 객체의 설명이 커버하는 비율과 어느 정도 상관이 있는가?
• RQ5 c-Eval은 실세계 기계학습 응용에서 설명가를 평가하는 데 있어 확장 가능하고 실용적인 지표인가?

주요 결과

• c-Eval는 기준 설명이 필요 없이도 객관적이고 강건한 설명가 평가 지표를 제공한다.
• c-Eval 값과 설명의 충실도 사이에 강한 상관관계가 있으며, 높은 c-Eval 값은 더 신뢰할 수 있는 설명을 의미한다.
• c-Eval 플롯은 설명가 간 성능 차이를 효과적으로 시각화하여 다양한 모델과 데이터셋 간 빠른 비교를 가능하게 한다.
• 이론적 분석은 c-Eval이 설명이 예측된 객체의 비율에 비례한다는 것을 확인한다.
• 세 가지 데이터셋에 대한 광범위한 실험을 통해 c-Eval은 인간 평가의 경향과 일관되게 설명가를 순위 매긴다.
• 이 방법은 계산적으로 효율적이며 확장 가능하여 실무에서 설명가의 일상적 평가에 적합하다.