[논문 리뷰] Aggregating explanation methods for stable and robust explainability

Laura Rieger, Lars Kai Hansen|arXiv (Cornell University)|2019. 03. 01.

Explainable Artificial Intelligence (XAI)참고 문헌 44인용 수 6

한 줄 요약

이 논문은 신경망의 해석 방법을 통합하여 안정성, 내성 및 특징의 완전성을 향상시키는 것을 제안한다. Grad-CAM, 가이드드 백프로파게이션, LRP와 같은 다양한 해석 방법을 평균 또는 분산 기반의 통합(AGG-Mean 및 AGG-Var)을 통해 조합함으로써 지식적 불확실성(epistemic uncertainty)을 감소시키고, 적대적 공격에 대해 상당히 높은 저항성을 확보한다. 이는 ImageNet, MNIST, FashionMNIST 데이터셋에서 개별 방법들을 모두 능가하는 성능을 보인다.

ABSTRACT

Despite a growing literature on explaining neural networks, no consensus has been reached on how to explain a neural network decision or how to evaluate an explanation. Our contributions in this paper are twofold. First, we investigate schemes to combine explanation methods and reduce model uncertainty to obtain a single aggregated explanation. We provide evidence that the aggregation is better at identifying important features, than on individual methods. Adversarial attacks on explanations is a recent active research topic. As our second contribution, we present evidence that aggregate explanations are much more robust to attacks than individual explanation methods.

연구 동기 및 목표

• 다양한 해석 방법을 통합하여 신경망 해석의 지식적 불확실성을 줄이기.
• 다양한 해석 기법을 통합함으로써 해석의 안정성과 완전성을 향상시키기.
• 해석 방법에 대한 적대적 공격에 대한 내성을 향상시키기.
• 통합된 해석이 관련 특징을 식별하고 조작에 저항하는 데서 개별 방법보다 뛰어나지 않은지 평가하기.
• 모델 수정 없이도 통합이 부드럽고 더 신뢰할 수 있는 해석을 제공하는지 조사하기.

제안 방법

• 두 가지 통합 전략을 제안한다: AGG-Mean는 다수의 해석 맵에서 요소별 평균을 계산하고, AGG-Var는 해석의 분산을 사용해 주요 영역을 식별한다.
• 다양한 해석 방법에 통합을 적용한다: 사라이언시 맵(SM), 가이드드 백프로파게이션(GB), LRP, Grad-CAM(GC), 통합 기울기(IG), 스무스드래프트(SG).
• 감도 분석(Sensitivity-n), 특징 관련성 비교, 적대적 공격 전이성 테스트를 포함한 다단계 평가 프레임워크를 사용한다.
• 해석 품질과 내성 평가를 위해 피어슨 상관계수(PCC), 평균제곱오차(MSE), 상위 10% 유니온 등의 지표를 활용한다.
• 개별 방법을 대상으로 한 적대적 공격을 수행한 후, 통합된 해석에 대해 공격을 전이하여 전이성과 내성력을 테스트한다.
• 성능 및 내성 비교를 위해 ImageNet, MNIST, FashionMNIST 등의 다양한 데이터셋과 네트워크 아키텍처에서 결과를 시각화한다.

실험 결과

연구 질문

• RQ1 여러 해석 방법을 통합함으로써 지식적 불확실성을 줄이고, 개별 방법보다 더 안정적이고 완전한 해석을 얻을 수 있는가?
• RQ2 다양한 해석 방법의 통합이 다양한 아키텍처와 데이터셋에서 관련 이미지 특징 식별 성능을 향상시키는가?
• RQ3 적대적 공격 상황에서 통합된 해석의 내성은 개별 해석 방법보다 어떻게 비교되는가?
• RQ4 해석 방법 간 전이성에 비해 통합 과정이 얼마나 적은 전이성을 유도하는가?
• RQ5 모델 수정 없이도 스무스드래프트와 유사한 부드러운 효과를 통합 전략이 달성할 수 있는가?

주요 결과

• AGG-Mean는 ImageNet, MNIST, FashionMNIST 전반에서 모든 지표에서 개별 해석 방법을 모두 능가했으며, 평가에서 최저 MSE(0.89 × 10⁻⁹)와 최고 PCC(0.54)를 기록했다.
• 통합된 해석 방법은 적대적 공격에 대해 상당히 높은 내성을 보였으며, 유사도 지표(PCC 및 topK)를 통해 공격의 전이성이 개별 방법보다 낮다는 것이 확인되었다.
• 특정 방법(예: GB)을 대상으로 한 적대적 공격가 다른 방법(예: LRP)으로 효과적으로 전이되지 않았고, 더욱이 통합된 해석으로는 전이가 거의 이루어지지 않아 내성성이 향상됨을 입증했다.
• 공격 상황에서도 AGG-Mean 방법이 원래 해석 구조를 가장 잘 유지했으며, 그림 6에서 외부 간섭에도 히트맵의 무결성을 유지함을 시각적으로 확인했다.
• 모델 수준의 수정 없이도 방법의 다양성에서 기인하는 내재적 스무딩 효과 덕분에 통합 전략이 내성을 확보했다. 이는 스무스드래프트와 유사한 효과를 달성했지만 추가 계산 부담 없이 이루어졌다.
• 모든 테스트된 아키텍처와 데이터셋에서, 통합된 방법은 해석 품질과 적대적 내성 양면에서 개별 방법을 일관되게 뛰어넘었다.