[논문 리뷰] Evaluating Feature Importance Estimates

Sara Hooker, Dumitru Erhan외 2명|arXiv (Cornell University)|2018. 06. 28.

Explainable Artificial Intelligence (XAI)참고 문헌 20인용 수 57

한 줄 요약

이 논문은 각 방법이 순위가 높은 중요도를 가진 특징을 제거하고 모델 정확도의 감소를 측정하여 딥 네ural 네트워크에서 특징 중요도 추정기의 정확도를 평가하기 위한 ROAR(RemOgive And Retrain) 벤치마크를 소개한다. 주요 발견은 많은 추정기가 랜덤 할당보다 성능이 열 劣하다는 것이지만, 제곱된 노이즈가 섞인 추정치의 평균을 구하면 정확도가 크게 향상되고 랜덤 성능을 초월한다는 것이다.

ABSTRACT

Estimating the influence of a given feature to a model prediction is challenging. We introduce ROAR, RemOve And Retrain, a benchmark to evaluate the accuracy of interpretability methods that estimate input feature importance in deep neural networks. We remove a fraction of input features deemed to be most important according to each estimator and measure the change to the model accuracy upon retraining. The most accurate estimator will identify inputs as important whose removal causes the most damage to model performance relative to all other estimators. This evaluation produces thought-provoking results -- we find that several estimators are less accurate than a random assignment of feature importance. However, averaging a set of squared noisy estimators (a variant of a technique proposed by Smilkov et al. (2017)), leads to significant gains in accuracy for each method considered and far outperforms such a random guess.

연구 동기 및 목표

• 딥 네럴 네트워크에서 특징 중요도 추정기의 정확도 평가 문제를 해결하기 위해.
• 입력 특징 영향을 추정하는 해석 가능성 방법을 비교하기 위한 신뢰할 수 있는 벤치마크를 개발하기 위해.
• 특징이 모델 예측에 미치는 진짜 영향을 가장 정확히 반영하는 추정기들을 특정하기 위해.
• 노이즈가 섞인 추정치의 단순 평균화가 랜덤 할당을 초월해 성능을 향상시킬 수 있는지 조사하기 위해.

제안 방법

• 각 추정기에서 가장 중요도가 높은 특징을 제거하고 모델을 재학습시키는 ROAR(RemOve And Retrain)를 제안한다.
• 재학습 후 모델 정확도의 감소를 측정하여 제거된 특징의 진짜 영향을 평가한다.
• 특징 제거 후 정확도 감소의 크기를 기반으로 다양한 특징 중요도 추정기의 성능을 비교한다.
• Smilkov 등(2017)의 기법을 변형 적용: 노이즈가 섞인 추정치의 제곱 평균을 통해 추정 정확도를 향상시킨다.
• 모델 성능의 상대적 변화를 추정기 정확도의 대체 지표로 사용하며, 더 큰 감소는 중요한 특징을 더 잘 식별했다는 것을 의미한다.

실험 결과

연구 질문

• RQ1 기존의 특징 중요도 추정기는 입력 특징이 모델 예측에 미치는 진짜 영향을 얼마나 정확히 반영하는가?
• RQ2 노이즈가 섞인 추정치의 앙상블 평균화를 통해 특징 중요도 추정기의 성능을 향상시킬 수 있는가?
• RQ3 특징 중요도 추정기 중에서 랜덤 할당을 초월하는 성능을 보이는 것은 있는가?
• RQ4 다양한 추정기에서 순위가 가장 높은 특징을 제거한 후 재학습한 모델의 정확도에 어떤 영향을 미치는가?

주요 결과

• 일부 특징 중요도 추정기는 영향력 있는 특징을 식별하는 데 랜덤 할당보다 성능이 열 劣하다.
• 제곱된 노이즈가 섞인 추정치의 평균화는 모든 평가된 방법의 정확도를 크게 향상시킨다.
• 평균화된 추정기는 랜덤 추측을 초월하며, 테스트된 모든 방법 중에서 가장 높은 정확도를 달성한다.
• ROAR 벤치마크는 많은 널리 사용되는 추정기가 진짜 특징 중요도 측정에 신뢰성이 떨어진다는 것을 드러낸다.