[논문 리뷰] Debugging Tests for Model Explanations

Adebayo, Julius, Michael Muelly외 2명|arXiv (Cornell University)|2020. 11. 10.

Explainable Artificial Intelligence (XAI)참고 문헌 63인용 수 7

한 줄 요약

이 논문은 세 가지 오염 유형—데이터, 모델, 테스트 시간—에 걸쳐 표적적인 디버깅 테스트를 도입하여 모델 오류를 진단하기 위해 후행 모델 설명을 평가한다. 설명 방법은 허위의 배경 상관관계를 탐지하지만, 잘못 레이블링된 예제나 모델 오염을 신뢰성 있게 식별하지 못하며, 특히 역전파가 수정된 경우에 더 심각한 실패를 보이며, 인간 평가자는 결함 탐지에 설명보다 모델 예측에 더 의존한다.

ABSTRACT

We investigate whether post-hoc model explanations are effective for diagnosing model errors--model debugging. In response to the challenge of explaining a model's prediction, a vast array of explanation methods have been proposed. Despite increasing use, it is unclear if they are effective. To start, we categorize extit{bugs}, based on their source, into:~ extit{data, model, and test-time} contamination bugs. For several explanation methods, we assess their ability to: detect spurious correlation artifacts (data contamination), diagnose mislabeled training examples (data contamination), differentiate between a (partially) re-initialized model and a trained one (model contamination), and detect out-of-distribution inputs (test-time contamination). We find that the methods tested are able to diagnose a spurious background bug, but not conclusively identify mislabeled training examples. In addition, a class of methods, that modify the back-propagation algorithm are invariant to the higher layer parameters of a deep network; hence, ineffective for diagnosing model contamination. We complement our analysis with a human subject study, and find that subjects fail to identify defective models using attributions, but instead rely, primarily, on model predictions. Taken together, our results provide guidance for practitioners and researchers turning to explanations as tools for model debugging.

연구 동기 및 목표

• 딥 러닝 시스템에서 후행 모델 설명이 모델 오류를 효과적으로 진단할 수 있는지 평가하기 위해.
• 모델 오류를 데이터 오염, 모델 오염, 테스트 시간 오염으로 분류하여 체계적인 평가를 위해.
• 다양한 유형의 모델 결함에 대해 다양한 설명 방법의 진단 능력을 평가하기 위해.
• 실제로 인간 사용자가 설명을 활용하여 결함 있는 모델을 식별할 수 있는지 조사하기 위해.
• 연구자와 실무자에게 설명의 신뢰성에 대한 실용적 지침을 제공하기 위해.

제안 방법

• 모델 오류를 세 유형으로 분류: 데이터 오염(예: 허위 상관관계, 잘못 레이블된 예제), 모델 오염(예: 재초기화된 가중치), 테스트 시간 오염(예: 분포 외 입력).
• 각 오류 유형의 탐지 능력을 평가하기 위해 표적적인 디버깅 테스트를 설계.
• 다양한 설명 방법—예: 샐런시 맵, grad-CAM, 역전파 기반 기법—을 사용하여 이러한 테스트에 적용.
• 인간 평가자 연구를 통해 사용자가 설명을 사용할 때 결함 있는 모델을 식별할 수 있는지, 또는 모델 예측에 더 의존하는지 평가.
• 일부 설명 방법의 불변성 특성(예: 역전파 알고리즘을 수정하는 방법)을 분석하여 모델 수준 오류 탐지 실패 원인을 설명.
• 알려진 결함이 있는 모델 간의 설명 출력을 비교하여 일관성과 진단 유용성을 평가.

실험 결과

연구 질문

• RQ1 후행 설명 방법은 모델 예측에서 허위 상관관계 아티팩트를 탐지할 수 있는가?
• RQ2 설명 방법은 잘못 레이블된 학습 예제를 데이터 오염의 형태로 효과적으로 식별할 수 있는가?
• RQ3 설명 방법은 네트워크 가중치의 부분 재초기화와 같은 모델 수준 오염을 진단할 수 있는가?
• RQ4 설명 방법은 추론 중에 분포 외 입력(테스트 시간 오염)을 탐지할 수 있는가?
• RQ5 사용자가 효과적으로 모델 설명을 활용하여 결함 있는 모델을 식별할 수 있는가, 아니면 주로 모델 예측에 의존하는가?

주요 결과

• 샐런시 기반 설명 방법은 허위 배경 상관관계를 성공적으로 탐지하여 데이터 오염에 대한 일부 진단 능력을 보여준다.
• 설명 방법은 조건이 충족되더라도 잘못 레이블된 학습 예제를 확실하게 식별하지 못한다.
• 역전파 알고리즘을 수정하는 방법은 고차원 레이어의 네트워크 파라미터에 대해 불변성을 보이며, 이로 인해 모델 수준 오염 탐지에 효과적이지 않다.
• 인간 평가자 연구 결과, 참가자들은 결함 있는 모델을 탐지할 때 설명보다 주로 모델 예측에 의존한다.
• 이 연구는 이론적 설명의 유용성과 실무에서의 사용성 사이의 괴리를 드러내며, 특히 모델 디버깅 작업에서 두드러진다.
• 전반적으로 설명 방법은 모델 오류를 진단하는 데 제한된 신뢰성을 보이며, 단순한 허위 상관관계를 초과하는 데이터 및 모델 오염에 대해 더욱 그렇다.