[논문 리뷰] A Benchmark for Interpretability Methods in Deep Neural Networks

Sara Hooker, Dumitru Erhan외 2명|arXiv (Cornell University)|2018. 06. 28.

Adversarial Robustness in Machine Learning인용 수 379

한 줄 요약

논문은 딥 뉴럴넷의 특징 중요도 추정기들을 실증적으로 평가하기 위해 재학습된 데이터 프레임워크 ROAR를 소개하며, 많은 일반적인 방법들이 랜덤 기준보다 성능이 떨어지는 반면 앙상블 방법 VarGrad와 SmoothGrad-Squared가 우수함을 보인다.

ABSTRACT

We propose an empirical measure of the approximate accuracy of feature importance estimates in deep neural networks. Our results across several large-scale image classification datasets show that many popular interpretability methods produce estimates of feature importance that are not better than a random designation of feature importance. Only certain ensemble based approaches---VarGrad and SmoothGrad-Squared---outperform such a random assignment of importance. The manner of ensembling remains critical, we show that some approaches do no better then the underlying method but carry a far higher computational burden.

연구 동기 및 목표

• 딥 러닝에서 입력 특징 중요도 방법의 신뢰할 수 있는 평가 필요성에 대한 동기 부여.
• ROAR(Remove and Retrain)을 제안하여 특징 중요도 추정치의 근사 정확도를 측정하는 경험적 벤치마크로 삼는다.
• 대규모 이미지 데이터셋에서 광범위한 추정기를 평가하여 상대적 신뢰성을 판단한다.
• 앙상블이 성능에 미치는 영향을 보여주고 어떤 앙상블 변형이 최상의 설명을 제공하는지 식별한다.

제안 방법

• 입력 특징을 추정 중요도에 따라 순위 매기고 상위 분수를 평균값으로 대체한 뒤, 수정된 데이터에서 무작위 초기화로 모델 재학습을 정의한다.
• 성능의 하한선을 확립하기 위해 추정기들을 랜덤 및 Sobel 에지 필터 기준선과 비교한다.
• 기본 추정기(Gradients, Guided Backprop, Integrated Gradients)와 앙상블 변형(SmoothGrad, SmoothGrad-Squared, VarGrad)을 ImageNet, Food-101, Birdsnap에서 평가한다.
• 설정당 5회의 재학습을 사용하여 변동성을 고려하고 평균 테스트 정확도를 보고한다.
• 앙상블 방법이 단일 추정치보다 성능 향상을 가져오는지 분석하고 계산 부담에 미치는 영향을 탐구한다.

실험 결과

연구 질문

• RQ1 ROAR 평가에서 일반적인 입력 특징 중요도 추정기가 랜덤 기회보다 정확성을 제공하는가?
• RQ2 앙상블 기반 추정기(SmoothGrad, SmoothGrad-Squared, VarGrad)가 대형 데이터셋에서 단일 추정치 및 랜덤 기준선을 능가하는가?
• RQ3 처리 없이 재학습 대신 제거 기반 평가와 비교했을 때 처음부터 재학습이 설명 품질에 어떤 영향을 미치는가?
• RQ4 기저 추정기가 어떤 앙상블 방법이 데이터셋별로 가장 잘 작동하는지에 영향을 주는가?
• RQ5 앙상블 방법의 계산 비용과 해석 가능성 정확도 사이의 균형은 어떤가?

주요 결과

• Base estimators (Gradients, Integrated Gradients, Guided Backprop) perform at or below random baselines under ROAR across datasets.
• Classic SmoothGrad is often worse than a single estimate and sometimes worse than random baselines.
• SmoothGrad-Squared and VarGrad consistently provide large accuracy gains over other methods and outperform random and Sobel baselines.
• Performance advantages of VarGrad and SG-SQ are observed across ImageNet, Food101, and Birdsnap, though the best underlying estimator can vary by task.
• Retraining significantly moderates degradation, indicating the need to retrain to properly assess attribution quality.