[논문 리뷰] On the Robustness of Interpretability Methods

David Alvarez-Melis, Tommi Jaakkola|arXiv (Cornell University)|2018. 06. 21.

Explainable Artificial Intelligence (XAI)참고 문헌 13인용 수 76

한 줄 요약

논문은 설명에 대한 로컬 Lipschitz 기반 강건성(Robustness)을 정의하고, 대표적 해석 방법(LIME, SHAP, saliency 등)을 다양한 데이터셋과 모델에서 평가하며, 입력에 대한 작은 변화에 대해 널리 불안정하게 나타나고, 해설의 강건성을 강화하는 접근법을 논의한다.

ABSTRACT

We argue that robustness of explanations---i.e., that similar inputs should give rise to similar explanations---is a key desideratum for interpretability. We introduce metrics to quantify robustness and demonstrate that current methods do not perform well according to these metrics. Finally, we propose ways that robustness can be enforced on existing interpretability approaches.

연구 동기 및 목표

• 작은 입력 변화에 대해 설명이 안정적으로 유지되도록 해석의 강건성을 핵심 기준으로 삼는 동기를 부여한다.
• 로컬 Lipschitz 연속성과 실용적이며 샘플 기반의 근사치를 통해 설명의 로컬 강건성을 형식화한다.
• 다양한 데이터셋과 모델에 걸쳐 대표적인 해석 방법들(LIME, SHAP, Saliency, Gradient*Input, Integrated Gradients, LRP, Occlusion)을 평가한다.
• 실제 모델(MLP/CNN/ResNet)과 단순한 데이터셋에서 작은 섭동에 대한 설명의 불안정성을 시연한다.
• 기존 방법의 강건성을 강화하거나 강건한 해석 접근법을 설계하는 전략을 논의한다.

제안 방법

• 입력 포인트 주위의 로컬 Lipschitz 연속성을 정의하여 설명의 안정성을 정량화한다.
• 로컬 강건성의 두 가지 추정기를 제안한다: (1) 그라디언트 없는 이웃 기반 비율로 ||f(x)-f(x')||/||x-x'||를 최대화하는 섭동 반경 ε를 사용하고, (2) 고정된 테스트 집합에 대한 이산적 샘플 기반 버전.
• 해설의 강건성 상수 L를 추정하기 위해 고정된 함수 평가 예산 하에서 베이지안 최적화를 이용해 평가한다.
• 다양한 데이터셋과 모델에서 여러 해석 방법(LIME, SHAP, Saliency, Gradient*Input, Integrated Gradients, Layer-wise Relevance Propagation, Occlusion)을 비교한다.
• 다양한 분류 및 회귀 과제를 혼합하여 UCI 데이터셋, Compas, MNIST(CNN), ImageNet(ResNet)을 포함한다.

실험 결과

연구 질문

• RQ1 인기 있는 해석 방법들이 모델의 예측을 안정적으로 유지하면서 작은 입력 섭동에 대해 설명을 강건하게 생성하는가?
• RQ2 그라디언트 기반 해설은 섭동 기반 방법에 비해 로컬 강건성 측면에서 어떤 차이가 있는가?
• RQ3 강건성은 데이터셋, 모델 유형(블랙박스 vs. 그라디언트 가능), 입력 모듈(표형, 숫자, 자연 이미지) 간에 어떻게 달라지는가?
• RQ4 설명이 강화되거나 강건한 해석 접근법이 설계될 수 있는가, 그리고 어떤 전략이 유망한가?
• RQ5 블랙박스 해설을 고려할 때 로컬 강건성을 신뢰성 있게 정량화할 수 있는 실용적 추정기는 무엇인가?

주요 결과

• 대부분의 해설 방법은 작은 입력 변화에 대해 로버스트하지 않으며, 특히 복잡한 모델에서 그렇다.
• 모델에 의존하지 않는 섭동 기반 방법(LIME, SHAP)은 그라디언트 기반 방법보다 불안정한 경향이 있다.
• 작은 가우시안 잡음으로 MNIST 숫자를 섭동하면 예측이 변하지 않아도 해설이 크게 달라질 수 있다.
• MNIST의 CNN에서 지역 이웃에서 해설이 크게 다르게 나타나며, 최악의 경우 섭동이 로컬 Lipschitz 측정을 극대화할 수 있다.
• ImageNet의 ResNet에서 거의 동일한 섭동된 이미지조차도 예측은 거의 동일하게 유지되지만 해설은 대단히 다를 수 있다.
• 이 논문은 L과 L 값과 같은 프레임워크와 예시를 제공하여 방법 간 강건성을 정량화하고 비교한다.