[논문 리뷰] Sanity Checks Revisited: An Exploration to Repair the Model Parameter Randomisation Test

Anna Karin Hedström, Leander Weber외 2명|arXiv (Cornell University)|2024. 01. 12.

Explainable Artificial Intelligence (XAI)인용 수 5

한 줄 요약

논문은 두 가지 적응법 Smooth MPRT (sMPRT)와 Efficient MPRT (eMPRT)으로 Model Parameter Randomisation Test (MPRT)을 확장하여 소거 Attribution denoising 및 완전 무작위화 후 설명의 복잡성 상승 측정을 통해 XAI 설명의 신뢰성을 향상시킵니다.

ABSTRACT

The Model Parameter Randomisation Test (MPRT) is widely acknowledged in the eXplainable Artificial Intelligence (XAI) community for its well-motivated evaluative principle: that the explanation function should be sensitive to changes in the parameters of the model function. However, recent works have identified several methodological caveats for the empirical interpretation of MPRT. To address these caveats, we introduce two adaptations to the original MPRT -- Smooth MPRT and Efficient MPRT, where the former minimises the impact that noise has on the evaluation results through sampling and the latter circumvents the need for biased similarity measurements by re-interpreting the test through the explanation's rise in complexity, after full parameter randomisation. Our experimental results demonstrate that these proposed variants lead to improved metric reliability, thus enabling a more trustworthy application of XAI methods.

연구 동기 및 목표

• 실제 정답 부재를 고려하여 XAI에서 설명 방법의 견고한 평가를 동기부여한다.
• 원래 MPRT의 방법론적 취약점(전처리, 계층 순서, 유사도 측정)을 식별하고 해결한다.
• 작업 및 모델 전반에 걸친 지표 신뢰성을 향상시키기 위해 두 가지 적응(sMPRT 및 eMPRT)을 제안한다.
• Quantus 프레임워크 내 구현을 제공하고 재사용을 위한 코드를 공개한다.

제안 방법

• 원래의 MPRT와 그 한계(전처리, 계층 순서, 유사도 측정)를 정의한다.
• sMPRT 도입: 비교하기 전에 N개의 변동 입력에 걸쳐 설명을 평균화하여 attribution을 노이즈 제거한다.
• eMPRT 도입: 페어 간 유사도 대신 전체 무작위화 후 attribution 분포의 엔트로피를 이용한 복잡도 상승 척도로 대체한다.
• 계층 간 정보 지속성을 완화하기 위해 하향식 무작위화를 사용한다.
• 다양한 데이터세트, 모델 및 attribution 방법에 걸친 메타 평가 벤치마킹을 통해 신뢰성을 정량화하고 Quantus 저장소에 코드를 제공한다.

실험 결과

연구 질문

• RQ1 다양한 모델과 작업에 걸친 기존 MPRT 평가의 신뢰성은 어느 정도인가?
• RQ2 attribution의 노이즈 제거(sMPRT)가 노이즈와 샤터링에 대한 MPRT의 강건성을 향상시킬 수 있는가?
• RQ3 전체 무작위화 후 설명의 복잡도 상승을 측정하는(eMPRT)이 페어와의 유사도에 의존하지 않는 편향 없는 충실도 평가를 제공할 수 있는가?
• RQ4 sMPRT와 eMPRT가 원래 MPRT보다 설명 방법의 비교 평가에서 더 높은 메타 일관성을 제공하는가?
• RQ5 각 적응의 실용적 트레이드오프(계산 비용, 하이퍼파라미터 민감도)는 무엇인가?

주요 결과

• sMPRT는 노이즈 민감도를 줄이고 순위를 바꾸며, 특히 그래디언트 기반 attribution에서 비용이 더 큰 계산으로 인해 성능이 떨어진다.
• eMPRT는 계산적으로 효율적인 대안을 제공하여 초기 설명 복잡도와 전체 무작위화에 평가를 고정시키고 계층 순서 의존성을 줄인다.
• 두 방법 모두 여러 작업과 attribution 세트에서 메타 일관성 벤치마크에서 일반적으로 원래 MPRT를 능가한다.
• 무작위 attribution 기준선은 eMPRT에서 MPRT보다 일관되게 낮은 점수를 받아 새로운 메트릭으로 더 나은 충실도 평가를 시사한다.
• sMPRT도 eMPRT도 완벽한 신뢰성(MC 바가 1에 근접)을 달성하지 못해 XAI에서 다면적 평가의 필요성을 강조한다.